Die jüngsten Fortschritte in großen Sprachmodellen (LLMs) haben eine spannende Diskussion über ihre Beziehung zur Linguistik angestoßen. LLMs, die ursprünglich aus der Informatik und den Ingenieurwissenschaften stammen, scheinen auf den ersten Blick wenig mit traditioneller Linguistik zu tun zu haben. Doch ein genauerer Blick offenbart eine faszinierende Schnittstelle zwischen diesen beiden Welten.
Der Artikel „Language models and linguistic theories beyond words“ von Nature.com, veröffentlicht am 21. Juli 2023, diskutiert die Beziehung zwischen großen Sprachmodellen (LLMs) und verschiedenen linguistischen Theorien. Es wird erörtert, ob und wie LLMs von linguistischen Erkenntnissen profitieren können und umgekehrt. Die Debatte umfasst verschiedene linguistische Disziplinen, darunter Computerlinguistik, kognitive Linguistik und Entwicklungslinguistik. Ein Fokus liegt auf der Untersuchung, ob LLMs wirklich Sprache verstehen oder sie nur nachahmen. Der Artikel bezieht sich auch auf die Meinungen führender Wissenschaftler, die unterschiedliche Standpunkte zur Nützlichkeit und zum wissenschaftlichen Beitrag von LLMs vertreten.
Frederick Jelinek, ein Pionier auf dem Gebiet der Verarbeitung natürlicher Sprache, zweifelte einst an der Effizienz, linguistisches Wissen in Spracherkennungssysteme einzubeziehen. Diese Skepsis wird heute im Kontext der LLMs erneut diskutiert. LLMs sind zwar Meisterwerke der Technik, ihre Fähigkeit, menschliche Sprachen zu „verstehen“, bleibt jedoch umstritten. Linguisten wie Noam Chomsky betrachten sie als nützliche Werkzeuge, jedoch nicht als Beitrag zur Wissenschaft der Linguistik. Andererseits argumentieren Forscher wie Steven Piantadosi, dass LLMs tatsächlich wichtige Einblicke in das Sprachenlernen bieten und traditionelle linguistische Theorien herausfordern.
Die Unterschiede zwischen Computerlinguistik und anderen linguistischen Disziplinen wie kognitive und Entwicklungslinguistik sind hierbei zentral. Während Computerlinguistik sich auf die Anwendung von Computermodellen zur Beantwortung linguistischer Fragen konzentriert, suchen andere Bereiche der Linguistik nach Wegen, wie LLMs für ihre Forschung genutzt werden können. Ein Beispiel dafür ist der BabyLM-Wettbewerb, der darauf abzielt, Sprachmodelle mit Datenmengen zu trainieren, die denen eines 13-jährigen Kindes ähneln, um den kindlichen Spracherwerb besser zu verstehen.
Es gibt jedoch auch Kritik an LLMs, insbesondere im Hinblick darauf, ob sie echtes Sprachverständnis oder lediglich die Fähigkeit zur Nachahmung besitzen. Diese Debatte ist nicht nur in der Linguistik, sondern auch in der Kognitionswissenschaft von Bedeutung. LLMs zeigen Erfolg in der formalen Kompetenz – der Erzeugung kohärenter und sinnvoller Texte –, doch sie scheitern oft an der funktionalen Kompetenz, die Weltwissen und Pragmatik erfordert.
Die Diskussion um LLMs und Linguistik ist weitreichend und komplex. Es ist eine Debatte, die nicht nur die linguistische Forschung bereichert, sondern auch grundlegende Fragen über das Verständnis von Sprache und Kognition aufwirft. Die Zukunft könnte eine noch engere Verzahnung von LLMs und linguistischen Theorien mit sich bringen, ein Weg, der für beide Disziplinen fruchtbar sein könnte.
Das Bild stammt aus dem Foliensatz „Einführung in die Computerlinguistik“ von Alex Fraser und Robert Zangenfeind.