Metaphor Identification and Argumentation Mining

Geisteswissenschaftliche Forschung scheint seit jeher eine rein analoge Tätigkeit zu sein. Texte lesen, Inhalte analysieren, Erkenntnisse gewinnen – das zumindest scheint das täglich‘ Brot eines jeden Geisteswissenschaftler zu sein. Aber ist das tatsächlich so? Arbeiten Geisteswissenschaftler noch immer losgelöst von den technologischen Möglichkeiten des 21. Jahrhunderts? Eigentlich nicht. Natürlich sind auch Geisteswissenschaftler im 21. Jahrhundert angekommen, wissen um die Möglichkeiten eines Computers und auch wie sie diese Möglichkeiten für ihre Zwecke nutzen können. Die Nutzung dieser neuen Arbeitsweisen ist heute allgemein unter der Bezeichnung Digital Humanities bekannt – auch wenn man sich noch nicht ganz genau auf eine einheitliche Definition einigen kann …

Wie dem auch sei, um die Bedeutung dieses Fachs zu unterstreichen, stellte Dr. Johannes Daxenberger, ehemaliger Student der Informationsverarbeitung an der Universität zu Köln und heutiger Geschäftsführer des Centrum für Digitale Forschung in den Geistes-, Sozial-, und Bildungswissenschaften (CEDIFOR), seine aktuelle Forschung vor:

Can a Machine learn to detect a metaphor or an argument in my text collection and if so, how?

Mit dieser Forschungsfrage begibt sich Daxenberger in das spannende Feld der künstlichen Intelligenz (KI) sowie des Natural Language Processing (NLP) und versucht mit Methoden des Deep Learning Wissen über Sprache zu erschließen. Hierfür bedarf es zunächst der Spezifizierung der Aufgaben, wie folglich kurz skizziert:

Ein Dokument d aus einer Sammlung von Dokumenten D () wird auf eine Klasse c aus einer Menge von Klassen C (), wobei c verantwortlich für die Art bzw. Klasse des Dokument d ist, überprüft.

So einfach das auch klingen mag, man sollte die Problematik, wie wahrscheinlich es ist, dass Dokument d eine Instanz von Klasse c (P(c|d)) ist, nicht unterschätzen, da kein Mensch, sondern ein Computer diese Überprüfung durchführen soll.

Das Vorbereiten von Texten für die Arbeit mit neuronalen Netzen

Für die Klassifikation eines Textes müssen zunächst noch andere Probleme, die für die Arbeit mit einem neuronalen Netz entscheidend sind, bewältigt werden. Eine große Aufgabe ist die Entity-Level Identification/Classification. Dieses beschreibt das Auszeichnen von inhaltlichen Bestandteilen, die als eine Einheit zu verstehen sind. Um dies zu erreichen, wird ein Text in seine einzelnen Bestandteile zerlegt und mittels der B(eginning)/I(nside)/O(utside)-Tags ausgezeichnet. Das bedeutet, dass beispielsweise, wie in Abbildung 1, das Tag „B” für den Start der Einheit und das Tag „I” für den Inhalt sowie das Ende der Einheit verwendet wird. Das Tag „O“ wird dagegen für die Auszeichnung nicht relevanter Elemente einer Einheit verwendet. Weiter ist die Abkürzung PER oder LOC für die Auszeichnung der Art der Entität verantwortlich.

Abbildung 1: BIO-Tags

Neben der Entity-Level Identification/Classification sollten auch die Relationen zwischen den einzelnen Entitäten dargestellt werden können. Die Relation Identification Classifcation stellt die Abhängigkeiten der einzelnen Entitäten untereinander dar. Um dies feststellen zu können, werden die einzelnen Einheiten auf ihre Relationen hin überprüft und, wie in Abbildung 2 ersichtlich, in zwei neuen Spalten aufgeführt. Dabei bezieht sich die erste, neueröffnete Spalte auf die Indexposition, die in Relation zu der Entität steht, wobei sich die zweite Spalte vielmehr auf die Art der Relation bezieht.

Abbildung 2: Relation Identification

Auf Grundlage dieser vorbereitenden Schritte erfolgt die Repräsentation des Dokuments. Hier gibt es erneut verschiedene Ansätze: Beispielsweise könnte man einen Bag-of-Words, welcher die semantische Relation der darin enthaltenden Worte in Form von Uni- bis n-grammen darstellt, verwenden. Man könnte den Text aber auch mit Hand-crafted Features annotieren, also mit handgefertigtem, linguistischem Expertenwissen. Die dritte Möglichkeit besteht darin, die Merkmale, die das Dokument repräsentieren, zu erlernen – Wenn diese Vorbereitungen getroffen worden sind, kann man sich endlich dem Deep Learning widmen.

Ein Computer ist eine Denkmaschine

Der Mensch ist im Stande Repräsentationen für das Lernen sowie strukturiertes, logisches Denken zu entwickeln. Da der Mensch aber erkannt hat, welche Möglichkeiten ein Computer bietet, ist man der Meinung, dass auch der Computer dazu befähigt sein sollte, solche Repräsentationen zu entwickeln. Um einem Computer diese Fähigkeiten zu vermitteln, bietet das Deep Learning diverse Methoden für das sogenannte Feature Learning an.

Das Feature Learning beschreibt den Ansatz, dass ein Computer aus einer Menge von Beispielen selbstständig Features ableitet, mit welchen ein etwaiger Input eines künstlichen, neuronalen Netzes klassifiziert werden kann. Dieser Ansatz wird allerdings nicht nur in der NLP, sondern auch in anderen Forschungsgebieten verfolgt.

Abbildung 3: In- und Output eines neuronalen Netzes

Bei Abbildung 3 handelt es sich um das Original (rechts), den Input (links) und den Output des neuronalen Netzes. Auf Basis des Feature Learning hat das neuronale Netz erlernt, wie ein Schwarzweiß Foto korrekt einzufärben ist. Nach einer Trainingsphase ist das neuronale Netz im Stande ein Foto abzutasten, einzelne Elemente des Fotos zu extrahieren, auf  verschiedenen Ebenen zu analysieren und aufgrund seiner Berechnungen schlussendlich einzufärben. Abbildung 4 zeigt die einzelnen Schritte ein solchen Verfahrens.

In der Sprachverarbeitung ist es anders: Da Worte bzw. Tokens nicht wie Fotos abgetastet werden können, können diese in Form von Vektoren, also bspw. Matrizen bestehend aus einer eins und diversen Nullen, repräsentiert und in einem Vector Space Model projiziert werden, so dass sie beispielsweise auf einem zwei- oder dreidimensionalen Koordinatensystem abgebildet werden können (siehe Abb. 5). Alternativ können die Wörter durch Vektoren auf Basis ihrer Distribution erstellt werden. Im Zusammenhang mit Deep Learning verwendet man vermehrt sogenannte Word Embeddings als Input für sprachverarbeitende neuronale Netze. Solche Word Embeddings mappen Worte auf Vektoren und zeigen somit auf, welche Worte semantisch verwandt sind. Solche Word Embeddings müssen nicht selbst erstellt, sondern können frei bezogen werden. Unter anderem bietet Google mit Tensorflow eine entsprechende API für die Erstellung solcher Word Embeddings an (Word2Vec).

Abbildung 4: Verschiedene Ebenen eines neuronalen Netzes

Nachdem nun die Thematiken der Repräsentation eines Textes sowie das Konzept des Deep Learning und seine Komponenten eingeführt worden sind, geht es nun in die Essenz der Arbeit von Daxenberger.

Abbildung 5: Word Embeddings

Metaphor Identification

Um Metaphern vollautomatisch erkennen zu können, muss der Computer wissen, wonach er suchen muss. Das heißt, der Computer benötigt Features anhand welcher er eine Metapher erkennen kann. Eine Möglichkeit wäre, die Definition für konzeptionelle Metaphern nach Lakoff und Johnson (1980) zu verwenden: Es gibt ein Source (konkretes Konzept) und eine Target Domain (abstraktes Konzept). Das wohl bekannteste Beispiel hierfür ist wohl Argument is war. Dabei ist Argument das konkrete und War das abstrakte Konzept. Wenn dies auch für den Menschen verständlich ist, ist es das nicht für einen Computer, da dieser keinerlei semantisches Wissen besitzt. Daxenberger verwendet stattdessen die Definition einer linguistischen Metapher, da diese wesentlich restriktiver ist als die konzeptionelle. Entsprechend gliedert sich das Prozedere in das Lesen des Texts, das bestimmen linguistischer Einheiten, die Frage, ob die Einheit mehr als nur eine Bedeutung hat und, wenn ja, die Markierung dieser als Metapher. Um dies zu überprüfen, verwendete Daxenberger ein Multilayer Perceptron, ein einfaches neuronales Netz, welches aus drei Ebenen, dem Input, einer verborgenen Schicht (Hidden layer) und dem Output, besteht.

Abbildung 6: Multilayer Perceptron

Dabei ist der Input ein Word Embedding, welches im Hidden layer verrechnet wird und am Ende einen binären Wert „Ja, es ist eine Metapher” oder „Nein, es ist keine Metapher” für jedes einzelne Wort ausgibt. Dabei kann man den Input verschieden darstellen. Einerseits ist es möglich Word Embeddings einzeln einzugeben, andererseits können mehrere, aneinanderhängende Embeddings eingespeist werden. Mittels dieser Vorgehensweise wurde eine eine 63 %ige Trefferquote erreicht und somit ein vielversprechender Ansatz, Metaphern voll automatisch erkennen zu können. Ob dies auch für Argumente funktioniert, wird im Folgenden beschrieben.

Argumentation Mining

Wie zuvor im Kontext der Metaphern beschrieben, ist es wichtig, dem Computer verschiedene Features für die Klassifikation mitzugeben. Um dies im Argumentation Mining zu erreichen, verwendet man das Claim-Premise Model. Dieses besagt, dass eine Behauptung immer von einer Prämisse untermauert wird. Im Rahmen von Daxenbergers Forschung wurde dieses Model auf die Daten der persuasive essays getestet.

Abbildung 7: BIO-Tagging nach dem Claim-Premise Model

Dabei wurde jedes einzelne Essay in seine Bestandteile zerlegt und mit den oben beschriebenen BIO-Tags klassifiziert, um eine repräsentative Grundlage für die weitere Verarbeitung zu haben. Auf diesem Fundament werden nun die von Ma und Hovy beschriebenen Bi-LSTM-CNN-CRF Prozeduren durchgeführt: Nach der Klassifizierungsphase werden die aus den Essays extrahierten Tokens für das künstliche Neuronale Netz als Input bereitgestellt (Abbildung 8). Diese werden zunächst in einem Convolutional Neural Net als Chars repräsentiert (so vermeidet man, dass ein Token nicht im Dictionary vorhanden ist) und werden einem Long Short Term Memory (LSTM) übergeben.

Abbildung 8: Neuronales Netz mit Bi-LSTM-CNN-CRF

Der Vorteil eines solchen Netzes ist, dass es ein Fenster um eine große Reihe von Tokens bzw. Chars ziehen kann. Damit ist es möglich den Input einerseits Forward anderseits Backward zu analysieren. Das bedeutet man betrachtet die Tokens bzw. Chars einmal in ihrer natürlichen Reihenfolge (Forward) und in einem zweiten Schritt in der entgegen gesetzten Reihenfolge (Backward). Aufgrund dieses Verfahrens nennt man die Methodik Bi-Direktional. Auf diesen Schritt folgt die Analyse der BIO-Tags im Conditional Random Field (CRF). Hier werden die Labels (Claim, Premise, Support), also die Arten der Sätze, analysiert. Mittels dieses Verfahrens ist es möglich eine Aussage darüber zu treffen, ob es sich um eine Argumentation handelt. Das Ergebnis dieses Verfahrens spiegelt mit einer Trefferquote von 66,7% eine noch ausbaufähige, dennoch repräsentative Möglichkeit Argumente vollautomatisch zu erkennen.

Daxenberger zur Flut digitaler Medien

Angesichts der immer größer werdenden Anzahl digitaler Ressourcen ist es unerlässlich Studien wie diese durchzuführen. Besonders im Hinblick auf das hochaktuelle Thema der sogenannten Fake News. Systeme wie die von Daxenberger könnten irgendwann in der Lage sein solche zu erkennen und somit dabei helfen, den Informationsgehalt sowie die Glaubwürdigkeit der Sozialen Medien zu wahren. Damit dies in Zukunft erreicht werden kann, sollten Verfahren wie die oben beschriebenen durchgeführt und weiterentwickelt werden. Betrachtet man die Flut von digitalen Medien ist es unerlässlich Texte (und andere Medien) für die weitere Verarbeitung und Analyse mittels der BIO Tags, Named Entity Recognition o.ä. für die weitere Verwendung in künstlichen neuronalen Netzen vorzubereiten. Wie oben beschrieben können diese Netze nur dann zuverlässig funktionieren, wenn die Vorverarbeitung die Erkennung von aussagekräftigen Merkmalen zulässt. Im Hinblick auf das Metaphor und Argumentation Mining ist dies von größter Bedeutung. Ohne die Vorverarbeitung wäre die Erstellung von Word Embeddings und damit die Erstellung eines entsprechenden Inputs für diese Methoden nicht möglich. Werden diese aber sorgfältig und in großer Menge erstellt, so werden Netze wie das Multilayer Perzeptron und das angewandte BI-LSTM-CNN-CRF-Verfahren eine wertvolle Unterstützung sein, verschiedene Arten von Medien zu analysieren.

Zum Autor:  Marco Zeyen studierte Deutsch und Englisch an der Heinrich Heine Universität in Düsseldorf, bevor er sich für die Fächerkombination Englisch/Informationsverarbeitung an der Universität zu Köln entschied. Zur Zeit bereitet er seine Bachelorarbeit in Informationsverarbeitung vor und plant, sich mit dem Wintersemester 17/18 in den 1-Fach-Master Informationsverarbeitung einzuschreiben. 


Ein Gedanke zu „Metaphor Identification and Argumentation Mining“

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.