Im Rahmen des Kolloquiums „Digital Humanities – Aktuelle Forschungsthemen“ hat Dr. Özlem Çetinoğlu vom Institut für Maschinelle Sprachverarbeitung (IMS) der Universität Stuttgart das von der DFG geförderte Projekt „SAGT: Computational Structural Analysis of German-Turkish Code-Switching“ vorgestellt, welches sie als post-doctoral Researcher leitet. Das Projekt läuft seit Juli 2018 und endet im April 2022. Ziel des SAGT-Projekts ist es, Methoden zur maschinellen Analyse von deutsch/türkischem Code-Switching und darauf basierende Modelle zu entwickeln. In Ihrer Forschung konzentriert sich Çetinoğlu auf die Syntax und das Parsing in morphologisch-reichen Sprachen, z.B. anhand von nicht-kanonischem Text, wie er in den sozialen Medien und im Code-Switching (CS) benutzt wird. Ihren Doktortitel hat sie an der Sabanci Universität in Istanbul erworben und in ihrer Doktorarbeit befasste sie sich mit dem Aufbau einer groß angelegten Türkisch-Grammatik auf Basis der Lexical-Functional Grammar (LFG).
Code-Switching, Mixing Languages, Sprachwechsel… Was ist Code-Switching und was sein Ursprung?
Code-Switching bezeichnet die Praxis, die Sprachen zu wechseln, die man benutzt, oder auch: wie man sich mehrsprachig-wechselnd ausdrückt. Sei es in Sätzen, Absätzen oder sogar in Worten, es wird sehr vielfältig und individuell betrieben. Dabei gibt es kein Regelwerk à la ‘How to code-switch’.
“Code-switching (CS) is mixing two (or more) languages in spoken and written communication (Myers-Scotton, 1993; Poplack, 2001; Toribio and Bullock, 2012) and is quite common in multilingual communities (Auer and Wei, 2007). With the increase in multilingual speakers worldwide, CS becomes more prominent. In parallel, the interest in processing mixed language is on the rise in the Computational Linguistics community”1
Code-Switching wurde aus der Mehrsprachigkeit geboren, lange ging man davon aus, es handele sich um ein Defizit der Sprecher als Folge von Arbeitsmigration und mangelndem Spracherwerb (vgl. Semilingualismus). Dass Code-Switcher die Sprachen nicht gut genug beherrschen, wurde mittlerweile mehrfach widerlegt. Was in Anbetracht dessen, dass es zur Genüge Menschen gibt, die zwei oder mehr Sprachen auf einem Muttersprachniveau sprechen und Code-Switching betreiben, ein naheliegendes Argument ist. Code-Switching ist an die gemeinsame Mehrsprachigkeit seiner Sprecher und Aspekte wie Expressivität, Identität, Emotionalität, die Beziehung der Sprecher zueinander, und noch viel mehr Dinge gebunden. Es ist also schwer zu sagen, wann wir das Bedürfnis zum Code-Switching haben. Oft liegt es daran, dass sich ein Ausdruck natürlich anfühlt oder ein einsprachiger Ausdruck nicht dasselbe vermitteln würde, weil die Übersetzung nicht synonym verwendet werden kann. Bei der Untersuchung des Phänomens kann die computergestützte Analyse von Code-Switching-Korpora besonders vorteilhaft sein, wie Çetinoğlu sie im SAGT-Projekt betreibt, um daraus CS-Modelle abzuleiten.
Das SAGT Projekt – Vorbereitungen, Datenerhebung und seine Ziele
Das Forschungsprojekt SAGT konzentriert sich auf das Natural Language Processing (NLP), von Code-Switching-Korpora basierend auf Social-Media-Beiträgen und Gesprächsaufnahmen von türkisch/deutsch-Sprechern.
Der Zugang zu CS Daten ist auch in Ländern mit vielen mehrsprachigen Communities schwierig. Oft herrscht die Meinung, man solle oder könne nicht überall code-switchen. Außerdem muss das Einverständnis der CSer eingeholt werden. Uninformiert jemanden beim CS aufzunehmen ist also unmöglich. Wissen die Sprecher, dass man aufgenommen wird, ändert es jedoch den natürlichen Sprachgebrauch. Der Wortgebrauch wird bewusster und es wird womöglich weniger CS betrieben. Der Rahmen und die Teilnehmer müssen also für die Aufzeichnung geeignet sein. Das SAGT-Projektteam hat seine Wahl darauf angepasst und geeignete Personen aus dem Bekanntenkreis für die Interviews gewonnen, um so die passenden Bedingungen für Code-Switching zu schaffen:
“We asked the annotators to approach Turkish-German bilinguals from their circle for an informal setting, assuming this might increase the frequency of code-switching.”2
Bei den CS-Aufnahmen gibt es zwar mehr Arbeitsschritte, aber der Redefluss ist natürlicher bzw. unkontrollierter als in Social Media Beiträgen. Der Vorteil der Nutzung von Social-Media-Beiträgen ist, dass die schier unbegrenzte Anzahl an Posts die Wahrscheinlichkeit für das Finden von passenden Beiträgen erhöht, man fängt also nicht komplett bei Null an. So wurde es auch im Twitter-Korpus gemacht, das 2016 in Zusammenarbeit mit Dr. Çağrı Çöltekin von der Universität Tübingen erstellt wurde. Da man über verfügbare APIs eine textuelle Basis zur weiteren Filterung, Verarbeitung und schließlich zur Aufnahme in das Zielkorpus bekommt. Dafür liefert die Kommunikationsart auf Social Media bereits den passenden Rahmen für die Ausübung von CS:
“Although code-switching is more observed in spoken data, written data also exhibits CS, especially in the informal, conversation-like environment of social media.”3
Es muss erstmal eine Aufbereitung des Materials erfolgen, bevor man sich an die Analyse machen kann und Fragen wie die folgenden beantwortet werden können:
- Lassen sich CS-spezifische Phänomene erkennen?
- Lässt sich ein Modell zur Normalisierung von CS-Daten entwickeln?
- …
Code-Switching Challenges, Datenverarbeitung, Sprachmodellierung und -identifikation – Was tun mit den Korpora?
Im vom SAGT-Team genutzten Twitter-Korpus mussten zunächst eine maschinelle und manuelle Filterung durchgeführt werden, um in der Menge an Beiträgen die Relevanten ausfindig zu machen. Die CS-Daten wurden als erstes mit Frequenzwörterbüchern (frequency dictionaries) und mit morphologischen Analysern identifiziert und ergänzt. Die reine Nutzung von automatischen Methoden ist in Bezug auf die CS-Daten aus Sozialen Medien jedoch unzureichend, weshalb eine zusätzliche Selektierung nötig war. Die Nutzung von Geo- und Language-Tags zur Filterung allein ist auch nicht ausreichend, da die Daten nicht immer vorhanden oder korrekt sind. Außerdem wurde das Vier-Augen-Prinzip als Maßnahme zur Qualitätssicherung genutzt.
Wie bei einsprachiger Kommunikation, wird das CS als eine Sprache betrachtet, es muss aber zwischen inter– und intra-sentential, sowie intra-word Code Switching unterschieden werden. Zu den Bearbeitungsschritten gehören die Tokenisierung, Normalisierung, eine Sprach-Identifizierung und ein POS-Tagging. Die Sprachidentifikation wird eigentlich nicht als problematisch betrachtet, da man sie mit einfachen N-Grammen oder Character Encoding Detection zuordnen kann, diese verlieren bei CS-Daten an Genauigkeit und so wurden auf den DE/TR-Korpus passende Language Identifier basierend auf statistischen Modellen, wie Naive Bayes oder SVM, entwickelt.
Die Speech-Treebank musste vor der Verarbeitung erst einmal transkribiert werden, dafür wurde mit Praat gearbeitet. Dabei hat man sich auf Sätze mit Code-Switching Anteilen beschränkt. Es wurden der verbale Ausdruck und der bearbeitete Text gegenübergestellt und nach den sprachlichen Regeln von Deutsch und Türkisch normalisiert. Diese Daten wurden für die Weiterverarbeitung verwendet.
Çetinoğlu hat folgendes Beispiel für die Tokenisierung zur Veranschaulichung angeführt:
Im Tweet wird „birde“ zusammen geschrieben, was mit „um eins“ übersetzt wird. Wenn man sich jedoch den Kontext genauer anschaut, sollte es „auch/und“ bedeuten, korrekterweise also „bir de“. Aus diesem Grund trennt man das Wort und unterteilt es in zwei Tokens.
Es folgt die Normalisierung, in der falsch geschriebene Wörter, Groß- und Kleinschreibung und „social media language“ korrigiert werden. Außerdem werden türkische Buchstaben korrigiert, so wird z.B. „Baska“ zu „Başka“ normalisiert.
Der „Switching Point“ der Token wurde zusätzlich markiert, um darauf hinzuweisen, wann die Sprache wechselt. Zusätzlich wurden auch Nutzernamen und URLs gekennzeichnet.
Anschließend wurde eine Sprachidentifizierung durchgeführt. Dafür wurden sechs Tags genutzt. Dabei steht LANG3 für eine dritte Sprache, neben Deutsch (DE) und Türkisch (TR), OTHER für Satzzeichen, Zahlen, Symbole usw., MIXED für Wörter, die teils Deutsch und teils Türkisch sind, wie z.B. traurigim „I am sad“. AMBIG steht für Wörter, die es in beiden Sprachen gibt und nicht eindeutig zugeordnet werden können.
Für die Segmentierung und POS-Annotation wurde das Tagset von Universal Dependencies herangezogen, welches 17 POS-Tags beinhaltet. Diese wurden in Zusammenarbeit mit Çöltekin genutzt, um eine Deutsch-Türkische CS Treebank zu erstellen. Deutsche Richtlinien dafür existieren bereits, es mussten lediglich die türkischen Guidelines ergänzt werden. Dabei wurden einige Regeln übernommen und fehlende mit einem Lösungsvorschlag ergänzt. Die Trennung ist im Türkischen komplizierter, da man die Suffixe abtrennen muss („traurig -im“). Hier wird das deutsche Wort „traurig“ mit dem türkischen Suffix “-im” (ich bin) ergänzt. Im Deutschen müssen die Kontraktionen von Artikeln und Präpositionen aufgelöst werden: „ins“ wird zu „in das“
Bei der POS-Annotation werden Wörter und Satzzeichen einer bestimmten Wortart zugeordnet. Somit kann man die Wörter leichter unterscheiden, die Bedeutung schneller erfassen und besser übersetzen.
Die manuelle Nachbesserung, aber auch die generelle Feinarbeit, welche im Segmentieren, Normalisieren und Annotieren vorgenommen werden müssen, machen sie zu einer Herausforderungen in der Arbeit mit CS-Korpora.
Weitere Erkenntnisse zu den Herausforderungen bei der Analyse von Code-Switching können in diesem Paper des SAGT-Teams nachgelesen werden.
Erkenntnisse aus den Statistiken
Insgesamt wurden 1029 Tweets und 17000 Tokens aus dem Twitter-Korpus, mit einer durchschnittlichen Länge von 16.78 Zeichen, verwendet. Davon enthielten 2262 Tweets Code-Switching und die durchschnittliche Anzahl der CS in einem Satz ist 2.2. 52,5% der Token sind Türkisch, 22,8% Andere (soziale Medien), 22,2% Deutsch und der Rest eine dritte Sprache, gemischt (TR und DE) oder Sonstiges.
Eine interessante Beobachtung ist, dass fast alle MIXED-Wörter eine Zusammensetzung aus englischen oder deutschen Wörtern mit türkischem Suffix sind.
Außerdem sieht man an den Ergebnissen, dass die meisten Verben auf Türkisch sind (25%), nur 15% sind deutsch. Dies könnte laut Çetinoğlu an der Menge der türkischen Tweets liegen. Die Anzahl der Nomina ist in beiden Sprachen fast gleich. Auffällig ist auch, dass deutsche Wörter im Bezug zu Verben geschrieben werden.
Bei der Treebank waren es 2184 Sätze, 37000 Tokens, mit einer durchschnittlichen Satzlänge von 15.34 Zeichen. Davon wurde in 4785 Tokens Code-Switching verwendet und die durchschnittliche Anzahl der CS in einem Satz war 2,19. Von den Tokens sind 50% Deutsch, 38,5% Türkisch, 9,8% Andere, 1,2% sind MIXED (TR und DE) und 0,5% gehören zu einer weiteren Sprache.
Können bestehende Modelle für CS-Analysen genutzt werden?
Das SAGT-Team hat bestehende Modelle, wie MarMoT, Bilty und MaChAmp, für die Normalisierung anhand der Sprachidentifizierung von CS-Daten verwendet. Die Sprachidentifikation wird als unproblematisch betrachtet, da man sie mit einfachen N-Grammen oder Character Encoding Detection zuordnen kann, diese verlieren bei CS-Daten an Genauigkeit und so wurden auf den DE/TR-Korpus passende Language Identifier basierend auf statistischen Modellen, wie Naive Bayes oder SVM, entwickelt. Das Ergebnis: je besser die Language Identification der Inputdaten, desto besser die Normalisierung. Die Genauigkeit liegt mit allen verwendeten Tools bei über 90%.
Außerdem wurde ein POS-Tagging durchgeführt. Dazu wurden die Modelle mit einem Leave-as-is (LAI), einem mehrsprachigen (Multiling.) und einem language-awaren-Input gespeist, die Genauigkeiten im Vergleich zum Goldstandard können der folgenden Tabelle entnommen werden.
Schließlich wurde ein Vergleich zwischen verschiedensprachigen CS-Datensätzen gemacht (Id/En und De/Tr). Dabei wurde die Genauigkeit der Vorhersagen für die einzelnen Sprachen gegenübergestellt. Im Vergleich zu Id/En schnitt der Tr/De Datensatz schlechter ab, daraus wurde geschlossen, dass die Sprachkombination komplexer ist, dazu Çetinoğlu: „In general, the performances are in a similar range as for monolingual datasets“4. Die Modelle Multilingual und language-aware eignen sich gut dafür, häufige Normalisierungsfehler zu korrigieren, wie z.B. für das Ergänzen von fehlenden Vokalen im Türkischen (cnm → canim). Das Modell “Language-aware” überzeugt bei der Korrektur von Wörtern und Mehrdeutigkeiten (z.B. mi → mi oder mı).
Was uns zukünftig hoffentlich noch erwartet
Wir haben natürlich auch einen Blick auf die SAGT-Projektbeschreibung geworfen, wo wir auf die Vision des Teams gestoßen sind. “Das Projekt wird mit datengesteuerte Ansätze [sic!] arbeiten, die die Möglichkeit bieten, diese Tools auf andere Sprachpaare anzuwenden und allgemeine Einsichten in die komputationelle Behandlung von CS zu gewinnen. Die strukturellen Analysen werden auch die linguistische Forschung und Forschung zu nachgeschalteten NLP-Aufgaben unterstützen.”5
Diese Aussage macht neugierig. Was wird wohl noch nach Beendigung des Projekts mit den Tools und Modellen aus dem SAGT-Projekt geschehen? Wie werden die Ergebnisse bei der Nutzung auf anderen Sprachpaaren aussehen und was werden die potentiellen Weiterentwicklungen hervorbringen?
Die Erstellung von weiteren Code-Switching Korpora nach Vorbild des SAGT-Projekts und die Vergleiche der Ergebnisse wären spannend. Genauso, wenn nicht noch interessanter, wäre eine großflächig und interdisziplinär angelegte CS-Analyse. Denn so könnten Rückschlüsse darauf gebildet werden, ob sich dieselben CS-Muster in allen Sprachkombinationen erkennen lassen, ob es Unterschiede zwischen dem CS von Sprechern mit Migrationsgeschichte, CS in Acadamia, CS als Phänomen der Pop-Kultur oder dem CS von Sprechern aus multilingualen Staaten gibt und vieles mehr. Interessant wären CS-Analysen mit transliterierten CS-Korpora, als Quelle dafür würde sich, wie im SAGT-Projekt, Social Media eignen.
Es bleibt spannend. In der Zwischenzeit können die Ergebnisse und Veröffentlichungen des Projekts studiert werden. Auf Github kann man in den Daten zu den Universal Dependencies und der Normalisierung gestöbert werden, und auf Bitbucket gibt es den Quellcode des Normalisation Models für alle Neugierigen. Ein Blick auf die Veröffentlichungen von Çetinoğlu zu werfen lohnt sich für alle, die noch mehr über Code-Switching und maschinelle Sprachverarbeitung wissen wollen.
Wer, wie wir beide, ein generelles Interesse an Code-Switching hat, kann sich auch mit den sozio- und psycholinguistischen Gründen für den Sprachwechsel auseinandersetzen.
Was ist Code-Switching für uns – Ein persönlicher Exkurs
Code-Switching ist etwas, mit dem wir beide uns sehr gut identifizieren können, da wir Nachkommen von Arbeitsmigranten sind und Deutsch zumindest im klassischen Sinne nicht unsere Muttersprache ist. Wir sind mehrsprachig aufgewachsen und machen bereits seit der frühen Kindheit Gebrauch von Code-Switching – und das ohne gewusst zu haben, worum es sich handelt. Denn es geschieht ganz natürlich und unbewusst, wenn man sich in einem Kreis aufhält in dem man switchen kann. Das Können hat nur zweitrangig mit der sprachlichen Fähigkeit zu tun, denn je nach Umgebung hat man oft das Gefühl es sei nicht erwünscht, wird herabgewertet oder spricht einem seine Deutschkenntnisse ab. Man fängt also an Code-Switching – oder vielmehr die Sprachen des CS – von seiner Umgebung abhängig zu machen, weil man nicht überall frei kommunizieren kann. Man beobachtet andere beim CS und stellt fest: so wie jeder einen eigenen Stil des Kommunizierens entwickelt, so entwickeln sich auch im CS Stile und Arten wie gecode-switcht wird. Wir vermuten, dies hat mit der Art und Weise des Spracherwerbs zu tun – wird die Sprache nur durch Imitation erlernt oder besucht man auch Sprachunterricht und ist in der Erstsprache auch alphabetisiert. Denn dies ist ausschlaggebend für den Konsum von Literatur und Medien in der Erstsprache bzw. das Themenspektrum, welches man sprachlich bedienen kann.
Lernt man dann noch mehr Sprachen als nur Englisch und vielleicht noch Französisch, kann die Verwirrung losgehen. Man beobachtet sich dabei, wie man in Unterhaltungen alle Formen des CS benutzt, für Außenstehende Zuhörer ein un-/zusammenhängendes Wirrwarr an Sprachen. Und für uns Code-Switcher ganz normal und in manchen Konstellationen besonders belustigend. In diesem Sinne:
“Vas-y daha feedback geben yaptın! !شكرا (Shoukran!)”
[Los] [jetzt] [feedback][geben][machen! (du)][Danke!]
[FR][TR][EN][DE][TR][AR]
Disclaimer: Code-Switching wird in diesem Artikel so wie von Çetinoğlu in ihrem Vortrag zusammenfassend als Umbrella-Term für die Sprachphänomene Switching, Mixing, Borrowing und Interferenz von Codes bzw. Sprachen benutzt.
Zu den Autorinnen:
Ceyda Çelikdemir studierte an der Universität zu Köln im Bachelor Medieninformatik und Medienkulturwissenschaften. Zurzeit studiert sie in Köln Informationsverarbeitung im Master. Neben dem Studium übt sie eine Werkstudententätigkeit im IT-Support aus.
Laila Abazzouh hat an der Universität zu Köln im Bachelor Medieninformatik und Medienkulturwissenschaften studiert. Derzeit studiert sie in Köln Informationsverarbeitung im Master und hat zwischen ihren Studien im Bereich Product Experience eines Kölner Unternehmens gearbeitet.
1 Çetinoğlu, Özlem, 2017. A Code-Switching Corpus of Turkish-German Conversations. In: Proceedings of the 11th Linguistic Annotation Workshop, Spain. S.1.
2 Çetinoğlu, Özlem, 2017. A Code-Switching Corpus of Turkish-German Conversations. In: Proceedings of the 11th Linguistic Annotation Workshop, Spain. S.2.
3 Çetinoğlu, Özlem, 2016. A Turkish-German Code-Switching Corpus. In: Proceedings of 10th edition of the Language Resources and Evaluation Conference, Slovenia. S.1.
4 Ö. Çetinoğlu, R. van der Goot, 31.01.2021. Lexical Normalization for Code-switched Data and its Effect on POS Tagging. https://aclanthology.org/2021.eacl-main.200.pdf.
5 Çetinoğlu, Özlem. “SAGT: Komputationellen strukturellen Analyse von deutsch-türkischem Code-Switching”.
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
dhstudi (18. August 2021). Code-Switching – Expressivität, Identität, Freiheit…? Was verbirgt sich hinter dem Phänomen und wie analysiert man es? Digital Humanities Cologne. Abgerufen am 7. Dezember 2024 von https://doi.org/10.58079/nkkc