Sind wir schon fertig? Hat die Computerlinguistik mit der Veröffentlichung von populären Large Language Models ChatGPT und BERT alles erreicht, was sie erreichen wollte? Und in welcher Beziehung steht sie zu den angrenzenden Feldern Linguistik und Digital Humanities? Mit diesen Fragen beschäftigen sich Associate Professor Mark A. Finlayson, Professorin Berenike Herrmann und Professor Klaus von Heusinger unter Moderation von Professor Nils Reiter bei ihrem Panel Talk im Rahmen des Digital Humanities Kolloquiums der Uni Köln am 29.06.2023. Die Diskussion wird vor allem mit Blick auf die möglichen Inhalte und Schwerpunkte eines neuen Computerlinguistik-Studiengangs geführt.

Was ist eigentlich Computerlinguistik?

Nicht zuletzt durch die Veröffentlichung von ChatGPT ist das öffentliche und wissenschaftliche Interesse am Feld der Computerlinguistik kürzlich gestiegen. Aber was genau ist Computerlinguistik eigentlich? Die Association for Computational Linguistics (ACL) definiert Computerlinguistik auf ihrer Webseite als „wissenschaftliche Untersuchung der Sprache aus einer rechnerischen Perspektive“. Computerlinguist:innen sind demnach in erster Linie an der Erstellung von Computermodellen für linguistische und psycholinguistische Phänomene interessiert. Als Studiengang gibt es das Fach an einigen deutschen Universitäten schon seit den 1980er Jahren. Im aktuell aufsteigenden und eng mit der Computerlinguistik verknüpften Feld Natural Language Processing (NLP) spielen linguistische Fragestellungen eine untergeordnete Rolle, hier geht es vielmehr um die Entwicklung sprachtechnologischen Lösungen für textbasierte Probleme aus allen möglichen Bereichen. Dadurch ergeben sich unter anderem die Fragen: Welche Inhalte sollten Computerlinguistik Studierende heutzutage lernen und welche Rolle spielt die Linguistik noch?

Zwischen Disziplinen: Berührungspunkte mit Computerlinguistik

Als Einstieg in den Panel Talk stellt Moderator Nils Reiter den Vortragenden die Frage nach Schnittmengen und Berührungspunkten mit der Computerlinguistik in ihrem jeweiligen Forschungsbereich. Berenike Herrmann hat einen interdisziplinären Background zwischen den Bereichen Deutsche Literatur, Digital Humanities und Linguistik. Ihr Forschungsteam „Computational Literary Studies Group“ nutzt computerbasierte und statistische Methoden zur Gewinnung literaturwissenschaftlicher Erkenntnisse, welche sich stark mit computerlinguistischen Methoden überschneiden. In der Vergangenheit beschäftigte sich Herrmann unter anderem mit der Annotation von Metaphern, part-of-speech (POS) Tagging in historischen Texten und dem Auffinden von räumlichen Entitäten in Texten. Hierfür wurden unter anderem statistische Analysen und Machine Learning Modelle genutzt. Ein besonderer Fokus liegt auf dem Feld „Computational Stylistics“. Dieses befasst sich mit dem Testen vorhandener und dem Erstellen neuer literaturwissenschaftlicher Theorien zu Aspekten wie Genre, Erzählperspektive, Textqualität und Metaphern.
Klaus von Heusinger kommt aus dem Bereich der kompositionellen Semantik, welche die Bedeutung lexikalischer Einheiten und deren Zusammenschluss untersucht und besonders interessiert ist an der feinkörnigen Struktur von Sprache. Kontaktpunkte mit der Computerlinguistik hat er schon seit seiner Zeit an der Uni Stuttgart (2003-2012), wo Computerlinguistik bereits eine längere Tradition hat. Die Interaktion zwischen Linguist:innen und Computerlinguist:innen nahm von Heusinger als bereichernd wahr, da sie die Reflektion der eigenen analytischen Methoden fördert und so zu einer Verbesserung der Methodik in beiden Bereichen führt.
Die Forschung von Mark Finlayson und seinem Team beschäftigt sich mit dem automatischen Erkennen und Verstehen von Narrativen und verschiedenen erzählerischen Aspekten unter Einsatz von NLP Methoden, sogenanntem „Narrative NLP“. Eine große Schnittmenge gibt es hier ebenfalls mit den Literaturwissenschaften, weswegen man den Bereich als Teil der Digital Humanities verstehen kann. Da es aber auch um die Auswirkungen von Narrativen auf menschliches Verhalten geht, ist er teilweise auch in der Kognitionswissenschaft einzuordnen. Auf die Frage nach Verbindungen zur Computerlinguistik erwidert Finlayson, dass es hier auf den Unterschied zwischen Computerlinguistik und NLP ankäme. Obwohl man Wissenschaftler:innen im NLP Bereich heutzutage auch als Computerlinguist:innen bezeichnet, ist das historisch auch schon anders gewesen. NLP Wissenschaftler:innen in Finlaysons und anderen Bereichen beschäftigen sich kaum oder gar nicht mit linguistischen Fragestellungen und haben oft keinen linguistischen Hintergrund.

Wie hat sich die Computerlinguistik verändert?

Eine entscheidende Rolle bei dem Panel Talk spielen die Veränderungen in der Computerlinguistik in den letzten zehn Jahren. Vor 20 Jahren haben sich Forschende in Computerlinguistik noch vermehrt mit der Entwicklung von (syntaktischen) Parsern beschäftigt, so Klaus von Heusinger. Diese basierten auf manuell kuratierten Regeln, um Sprache über die verschiedenen linguistischen Ebenen (Morphologie, Syntax) automatisch zu verarbeiten. Hier gab es eine direktere Korrespondenz zwischen Linguistik und Computerlinguistik. In letzter Zeit habe das Interesse an regelbasiertem Parsing stark abgenommen. Diese Entwicklung hat wohl mit dem Shift von regelbasierten zu datenbasierten Methoden zu tun, und mit dem Boom von Neuronalen Netzwerken im sprachtechnologischen Bereich. Von Heusinger erklärt, dass man sich auch in der Linguistik zunehmend von der Idee von einer einzigen konventionalisierten Grammatik verabschiedet hat, und sich stattdessen mehr experimentellen Methoden zugewandt hat.
Berenike Herrmann erzählt, dass im literaturwissenschaftlichen Bereich durch die Einführung von NLP Methoden die Automatisierung im Allgemeinen zugenommen habe. Annotation literarischer Texte für die Verarbeitung mit Machine Learning Modellen spielt inzwischen eine große Rolle in ihrem Bereich. Dabei werden neue Aspekte, wie die Übereinstimmung zwischen Annotator:innen diskutiert. Außerdem gibt es auch bereits einige Fortschritte in den Modellen, die für Computational Literary Studies entwickelt wurden. Als Beispiel hierfür nennt Herrmann sogenanntes Active Learning, eine Art von Machine Learning, die mehr Interaktion zwischen Programmierer:in und Algorithmus ermöglicht.
Mark Finlayson bemerkt, dass es immer weniger Forschende aus der klassischen Computerlinguistik gebe. Die anwendungsorientierte NLP-Seite ist dafür aber im Wachstum und inzwischen dominant in dem Feld. Im NLP-Bereich kommen Forschende aus allen möglichen Feldern zusammen, um Lösungen für textbasierte Probleme zu entwickeln.

Die wohl offensichtlichste Veränderung der letzten Jahre im computerlinguistischen Feld brachte die Veröffentlichung von Large Language Models (LLMs). Der Chatbot ChatGPT, der im November 2022 von der Firma OpenAI herausgebracht wurde, ist heute in aller Munde. Texte übersetzen, Sachverhalte in einfachen Worten erklären, Python Code generieren und sogar das bayrische Abitur bestehen – das alles kann ChatGPT. Die Fähigkeiten und vor allem auch die sprachliche Souveränität des Tools hat viele überrascht. Im NLP-Bereich schlugen LLMs schon einige Jahre früher ein. Mit der Veröffentlichung von BERT im Jahr 2018 (Devlin et al, 2018) wurde der damalige state-of-the-art in fast allen Bereichen weit überboten. BERT und eng verwandte Modelle, sind bis heute Stand der Technik für viele NLP-Tasks wie Maschinelle Übersetzung, Klassifikation und Question Answering. Doch welche Auswirkungen haben LLMs nun auf die Computerlinguistik? Kann man das Problem des Verarbeitens, Verstehens und Generierens natürlicher Sprache damit als gelöst betrachten? Und was gibt es noch zu tun?

Die Frage, ob die Computerlinguistik durch LLMs schon „fertig“ ist, beantwortet Mark Finlayson ganz klar mit Nein. Es gibt zwar einige, vergleichsweise simple NLP-Tasks wie POS-Tagging, für die es inzwischen Modelle mit nahezu optimaler Performance gibt. Dennoch kann man das Problem noch nicht als gelöst betrachten und wenn doch, müsste man auch erstmal beweisen, dass es gelöst ist. Für die nächsten Jahre sieht Finlayson als neue Herausforderungen die Evaluation des Outputs, den LLMs liefern. Mit dieser Aufgabe müssten sich nun wieder menschliche Arbeiter:innen beschäftigen, ebenso mit dem Erstellen von noch besseren Prompts für einen bestimmten Task. Außerdem werfen LLMs noch mehr Fragen auf als sie beantworten, so Finlayson. Mit LLMs gibt es jetzt zwar ein Tool, mit dem sich bestimmte Tasks schnell und einfach ausführen lassen, jedoch wissen wir nahezu nichts darüber, wie und warum sie so gut funktionieren („Blackbox“-Problem). Somit ergeben sich für die Wissenschaft eine Reihe neuer Forschungsfragen rund um die Erklärbarkeit und Nachvollziehbarkeit von LLM-Entscheidungen. LLMs werden typischerweise mit Textmengen trainiert, die größer sind als die Menge an Sprache, der ein Mensch in einer Lebenszeit ausgesetzt ist. Dennoch funktionieren sie immer noch in vielen Aufgaben schlechter. Daher gibt es weiterhin Optimierungsbedarf. Obwohl sie kohärente Texte generieren können, bringen LLMs wenig Erkenntnisse zu den Prinzipien, die Sprache zugrunde liegen. Auch der berühmte Linguist Noam Chomsky sagt über LLMs, dass sie kein richtiges Sprachmodell seien, weil sie nichts über Sprache an sich aussagen. In Bezug darauf wendet Klaus von Heusinger ein, dass Chomsky in erster Linie an grammatikalischen Strukturen von Sprache interessiert sei. Während LLMs für dieses Feld in der Tat wenig Erkenntnisse bieten, sind sie aber für die lexikalische Semantik durchaus spannend, da sie Einblicke in die Semantik gewähren.
In Bezug auf ihre Forschung erklärt Berenike Herrmann, dass LLMs zwar auch hier eine praktische neue Ressource seien, es aber auch Grenzen gebe. Für die Forschung zu weniger bekannten Autor:innen fehlt es den Modellen an Wissen, da diese nicht in den Trainingsdaten vorkommen. Trotzdem bieten LLMs eine Art „neuen Gesprächspartner“, was zum Beispiel für die Operationalisierung literaturwissenschaftlicher Theorien von Vorteil sein kann. Außerdem können gewisse LLM-Outputs für die Stilometrie interessant sein, da sie neue Probleme und Fragestellungen aufwerfen, die es dann zu untersuchen gilt. Finlayson wirft ein, dass in seinem Bereich der Narrative NLP ein Modell Output ohne Erklärung problematisch sein kann, weil es zu einer Bekräftigung vorhandener Vorurteile und einer Art zirkulärem Schlussfolgern kommen kann.

Was sollten Computerlinguistik-Studierende lernen?

Da der Hintergrund des Panel Talks die Frage nach den Inhalten für einen neuen Computerlinguistik-Studiengang ist, geht es im letzten Teil darum: Was sollten Computerlinguistik-Studierenden vermittelt werden? Moderator Nils Reiter stößt hier explizit die Diskussion darum an, welche Rolle linguistische und auf der anderen Seite mathematische und technische Kenntnisse spielen sollten. Klaus von Heusinger betont die Wichtigkeit von linguistischem Wissen für angehende Computerlinguist:innen. Während Studierende der klassischen Linguistik keine Kapazität haben, um Details über Deep Learning zu erlernen, sollten Computerlinguist:innen genau diese Brücke zwischen Linguistik und technischen Kenntnissen bilden können. In Sprache gibt es gewisse Regularitäten und regelbasierte Aspekte, die für die Erstellung und Evaluation von Computermodellen für Sprache von großer Bedeutung sind. Mark Finlayson ist ebenfalls der Meinung, dass gewisse linguistische Prinzipien, zum Beispiel kontextfreie Grammatiken, wichtig für die Arbeit im NLP-Bereich sind. Zudem werden regelbasierte Systeme auch zunehmend an statistische Modelle angeschlossen, um bestimmte Outputs zu provozieren oder zu verhindern. Finlayson und Berenike Herrmann sind sich einig, dass für die Erstellung eines Modells zur Bearbeitung eines Tasks grundsätzlich ein Verständnis des Problems unerlässlich ist, egal welchem Bereich der Task zuzordnen ist. Die Prominenz von technischem und mathematischem Wissen für Computerlinguist:innen ist ebenfalls aus Sicht der Vortragenden eindeutig gegeben.

Fazit

Die Vortragenden des Panel Talks sind sich einig, dass die Computerlinguistik durch die Veröffentlichung von LLMs definitiv noch nicht alle Ziele erreicht hat. Vielmehr steht das Feld dadurch vor neuen Herausforderungen. In Zukunft könnte man sich beispielsweise mehr mit der Evaluation von LLM-Output, dem Erstellen von Prompts (Prompt-Engineering) und dem Finetuning von LLMs für spezifische Probleme und Domänen befassen. Die Intransparenz von LLMs ist außerdem eine Herausforderung, weswegen noch viel wissenschaftliche Arbeit in Erklärbarkeit gesteckt werden muss. Im Blick behalten muss man außerdem, dass es zahlreiche Felder gibt, die von NLP-Methoden profitieren. Hier werden weiterhin (bessere) Lösungen benötigt. Für die Computerlinguist:innen der Zukunft ist es wichtig, technische und mathematische Kenntnisse für die Entwicklung und Funktionsweise von LLMs zu erlangen. Trotzdem betonen die Vortragenden, dass auch linguistisches Grundwissen in einem modernen Computerlinguistik-Studium nicht zu kurz kommen darf. Gerade für die weiterhin brennenden Fragen rund um Erklärbarkeit und Evaluation von LLMs sind Fähigkeiten in beiden Bereichen unverzichtbar.

Quellen

Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

https://www.br.de/nachrichten/netzwelt/chatgpt-ki-besteht-bayerisches-abitur-mit-bravour,TfB3QBw

https://pub.uni-bielefeld.de/record/2958639

https://theconversation.com/ai-and-the-future-of-work-5-experts-on-what-chatgpt-dall-e-and-other-ai-tools-mean-for-artists-and-knowledge-workers-196783

Zu den Vortragenden:

Mark A. Finlayson ist Associate Professor für Computer Science an der Knight Foundation School of Computing and Information Sciences der Florida International University. Seine Forschungsgruppe “Cognition, Narrative & Culture Laboratory“ beschäftigt sich mit der Interaktion zwischen Kognition und Kultur, Narrativen und Sprache aus computerbasierter Perspektive. Finlayson studierte Elektrotechnik und promovierte 2012 in Computer Science am Massachusetts Institute of Technology (MIT).

Berenike Herrmann ist Professorin für Neuere Deutsche Literatur mit einem Schwerpunkt in Literaturtheorie und Digital Humanities an der Universität Bielefeld. Dort leitet sie die “Computational Literary Studies Group”, welche sich unter Einsatz von interdisziplinären und computergestützten Methoden mit Literaturstilen, räumlicher und affektiver Literaturtheorie und historischem Wandel beschäftigt. Gleichzeitig ist sie Privatdozentin für Digital Humanities und Neuere Deutsche Literatur an der Universität Basel.

Klaus von Heusinger ist Professor für Germanistische Linguistik an der Universität zu Köln, wo er sich vor allem mit Semantik und Pragmatik und kontrastiver Linguistik beschäftigt. Er war von 2017-2021 Sprecher des Sonderforschungsbereichs “Prominence in Language“, welcher Prominenzrelationen im Hinblick auf verschiedene linguistische Aspekte in einer Vielzahl von Sprachen untersucht. Von Heusingers Forschungsgruppe arbeitet mit experimentellen Methoden und theoretischer Modellierung.

Zur Autorin: Lea Grüner studiert nach ihrem Bachelorabschluss in Computerlinguistik an der Eberhard-Karls-Universität Tübingen nun Informationsverarbeitung im Master an der Universität zu Köln. Derzeit arbeitet sie als Hilfskraft bei einem außeruniversitären Forschungsinstitut.

---

---