Kann Künstliche Intelligenz uns bald verbal ausdribbeln? – Argument Mining zum automatischen Erkennen und Generieren von Argumenten

Argumentationen sind ein zentraler Bestandteil menschlicher Kommunikation. Diese mit Algorithmen automatisch zu erkennen, zu strukturieren oder zu generieren ist ein herausforderndes Problem der Computerlinguistik, das mehrere Ebenen der Formalisierung und elaborierte Machine Learning Modelle erfordert. Im Rahmen des Kolloquiums Digital Humanities – Aktuelle Forschungsprojekte stellte Professor Manfred Stede am 30.06.2022 die Forschung seiner Arbeitsgruppe an der Uni Potsdam zum Thema Argument Mining vor. In seinem Vortrag ging es um das Erkennen argumentativer Bestandteile und Strukturen, das automatische Generieren von Argumenten, und um die grundlegenden Aufgaben Sentimentanalyse und Stance Detection.

Was ist überhaupt eine Argumentation und welche Bestandteile hat sie?

Beim Wort ‚Argumentation‘ denken viele von uns möglicherweise zuerst an diese typischen Schuldebatten zum Thema Schuluniform – Was spricht dafür und was dagegen?, die wir in der Mittelstufe führen mussten. Charakteristisch ist in diesem Falle die Darstellung der Argumentation als eine Menge von ähnlich aufgebauten Pro- und Kontra-Argumenten. Allerdings ist nicht jede Argumentation so simpel und starr strukturiert. Laut Van Eemeren (1996) ist eine Argumentation eine verbale und soziale Aktivität mit dem Ziel, die Akzeptabilität eines kontroversen Standpunktes für das Publikum zu verstärken oder zu schwächen. Kernaspekte von Argumentationen sind claims (Behauptungen) und premises (Prämissen), die auf verschiedene Weise miteinander und mit dem zentralen Standpunkt verknüpft sind. Claims sind Aussagen, die den Standpunkt entweder unterstützen oder schwächen sollen. Premises liefern Evidenz für oder gegen einen bestimmten claim. Die Visualisierung als Baumstruktur (Abbildung 1) zeigt anschaulich anhand eines Beispiels, wie Standpunkt, Claims und Premises zusammenhängen. Zusätzlich steht ganz oben das topic (Thema), da es zu jedem topic verschiedene Standpunkte geben kann.

Abbildung 1: Visualisierung einer Argumentation als Baumstruktur.
Quelle: Präsentation von Manfred Sted
e

Die Betrachtung der Bestandteile und Grundstruktur verdeutlicht, dass es sich bei Argumentationen um ein hochkomplexes sprachliches Konstrukt handelt, dessen automatisiertes Erkennen und Generieren herausfordernd ist. Deswegen erklärte Stede in seinem Vortrag zunächst die weniger komplexen, grundlegenden Tasks Sentimentanalyse und Stance Detection.

Bei den unten beschriebenen Tasks handelt sich um Natural Language Processing (NLP) Tasks. Obwohl diese sehr unterschiedlich sein können, werden NLP Tasks häufig mit Machine Learning (ML) Methoden angegangen, genauer gesagt mit sogenanntem Supervised Learning (überwachtes Lernen). Es gibt dafür einen Trainingsdatensatz aus Sätzen oder Dokumenten, in dem alle Texte mit einem oder mehreren Labels versehen (z. B. positiv/ negativ) sind. Ziel ist, dass das ML Modell lernt, diese Labels nach dem Training bei ungesehen Daten vorherzusagen.

Grundlagen: Sentimentanalyse und Stance Detection

Bei Sentimentanalyse geht es darum, anhand eines kurzen Textes herauszufinden, ob dieser positiv oder negativ ist. Nützlich ist das zum Beispiel für das automatische Klassifizieren von Rezensionen für Produkte, Hotels, Restaurants etc. Der einfachste Ansatz ist, zwei Listen mit jeweils positiven und negativen Wörtern, sogenannten words with prior polarity, zu definieren. Dann wird im Text abgezählt, welche Wortklasse überwiegt.

Abbildung 2: Beispiel für Sentimentanalyse. Quelle: Präsentation von Manfred Stede

Da in der Beispielrezension (Abbildung 2) sechs Wörter mit positiver prior polarity und kein Wort aus der Negativliste vorkommen, ist das Sentiment laut dieser Klassifikationsmethode eindeutig positiv. Es gibt auch Texte, die weniger eindeutig zu klassifizieren sind als die Beispielrezension, zum Beispiel weil sie Negierungen oder Zitate enthalten, die nicht der Meinung des*der Verfasser*in entsprechen. Zudem ist es möglich, dass Bestandteile des Textes nicht eindeutig als positiv oder negativ eingeordnet werden können. In diesem Fall spricht man von contextual polarity. Für Unternehmen wie Hotels ist es außerdem interessanter zu erfahren, was genau die Gäste gut oder schlecht fanden, als nur zu wissen, ob es insgesamt gut oder schlecht war. Deswegen werden in einer elaborierteren Form der Sentimentanalyse, der sogenannten fine-grained opinion analysis, weitere Bestandteile markiert.
Beispiel aus der Präsentation von Manfred Stede:

[ While the breakfast was very good, ]opin1 [ I couldn‘t stand dinner ]opin2

Hier werden neben den words with prior polarity noch die source (Person, die Meinung hat), das target (Aspekt, auf den sich positives/ negatives Wort bezieht) und intensifiers / diminishers (Wörter wie ‚very‘ oder ‚not‘) in Betracht gezogen.

Noch einen Schritt weiter geht die sogenannte Stance Detection (Automatisches Erkennen eines Standpunktes). Ziel ist hier, anhand eines kurzen Textes (häufig ein Tweet), herauszufinden, wie der*die Verfasser*in zu einer bestimmten target entity steht. Die target entity kann eine Person, Organisation, Bewegung etc. sein. Die drei Zielklassen für den Standpunkt sind:

  • Positiv: Verfasser*in befürwortet target entity
  • Negativ: Verfasser*in lehnt target entity ab
  • Neutral: Wenn kein Standpunkt zur target entity abgeleitet werden kann

Beispiel aus der Präsentation von Manfred Stede (Mohammad et al, 2017):

  • Target: legalization of abortion
  • Tweet: “The pregnant are more than walking incubators, and have rights!”
  • Klasse: Positiv – Verfasser*in ist für die Legalisierung von Abtreibung

Für die automatische Klassifizierung des stance einer Aussage wird eine Liste von Konzepten erstellt, die thematisch der target entity ähneln. Im Falle von Legalisierung von Abtreibung könnten darin zum Beispiel die Konzepte Selbstbestimmung, Frauenrechte und Pro-Life Bewegung vorkommen. Wichtig ist es, festzustellen, ob die Konzepte kohärent (Legalisierung von Abtreibung = Frauenrechte) oder konträr (Legalisierung von Abtreibung ≠ Pro-Life Bewegung) zur target entity sind. Im nächsten Schritt kann dann der explizite stance gegenüber dem verwandten Konzept herausgefunden werden, um dann den impliziten stance gegenüber der target entity ableiten zu können.

Argument Mining: Claim Detection

Um sich dem automatischen Erkennen von Argumenten anzunähern, ist Claim Detection eine zentrale Teilaufgabe. Ein claim ist eine Aussage, die eine bestimmte Meinung zu einem Thema widerspiegelt. In einer Argumentation wird ein claim von premises gestützt, die Evidenz für (oder gegen) den claim liefern sollen. Ziel von Claim Detection ist es, anhand eines Satzes automatisch zu klassifizieren, ob es sich um einen claim handelt oder nicht.

Beispiel aus der Präsentation von Manfred Stede (Schaefer & Stede, 2022):

Abbildung 3: Beispiel für Claim Detection. Quelle: Präsentation von Manfred Stede

Die Arbeitsgruppe von Manfred Stede verglich die Performance eines feature-basierten Machine Learning (ML) Modells mit einem neuronalen Modell, jeweils trainiert mit vier Corpora aus unterschiedlichen Domänen. Interessanterweise lieferte das klassische feature-basierte Modell in den durchgeführten Experimenten deutlich bessere Ergebnisse als das neuronale Modell, obwohl neuronale Modelle derzeit für viele NLP Tasks die führende Technologie sind.

Der Vergleich der Performance des neuronalen Modells zwischen den verschiedenen Corpora zeigt ebenfalls zum Teil stark unterschiedliche Ergebnisse. Ein zusätzlich durchgeführtes Experiment, bei dem auf unterschiedlichen Corpora trainiert und getestet wurde, lieferte außerordentlich schwache Scores im Vergleich zu den anderen Experimenten. Das spricht dafür, dass claims in verschiedenen Domänen sehr unterschiedlich aussehen können und das Modell Schwierigkeiten hat, Muster zu finden, die für alle claims gelten.

Argument Mining: Structure Analysis

Eine weitaus komplexere Aufgabe im automatischen Verstehen von Argumentationen ist die Structure Analysis. Die Idee ist, anhand eines argumentativen Textes die Bestandteile automatisch zu identifizieren und deren Rolle und Relationen zueinander zu erkennen.
Das lässt sich am besten anhand eines Beispiels erklären:

Abbildung 4: Scheme inspired by: James B. Freeman: Dialectics and the Macrostructure of Argument. A Theory of Argument Structure. Berlin: 1991/2011. Quelle: Präsentation von Manfred Stede

Ein argumentativer Text wird hier als Graphstruktur dargestellt. Die Knoten sind die jeweiligen (Teil-) Sätze und die Kanten repräsentieren die Relationen zwischen den einzelnen Bestandteilen. In Abbildung 2 ist Teilsatz 3: “For this reason, they [energy-saving lightbulbs] should be taken off the market” der central claim. Die anderen Bestandteile befürworten (1, 2, 5) oder attackieren (4) diesen direkt oder indirekt.

Ziel von Structure Analysis ML Modellen ist es, anhand von annotierten Trainingsdaten folgende Labels zu erlernen und automatisch zu identifizieren:

  • Rolle: Bestandteil ist befürwortend/ ablehnend
  • Funktion: Bestandteil unterstützt/ attackiert anderen Bestandteil
  • Verbindung: Bestandteil ist mit welchem anderen Bestandteil verbunden
  • Central Claim (optional): Bestandteil, der zentraler claim ist und keine ausgehenden Verbindungen zu anderen Bestandteilen hat

Zu beachten ist hier, dass das automatische Identifizieren von Rolle und Funktion eng verwandt mit Stance Detection ist. Man möchte anhand einer Aussage herausfinden, ob diese positiv oder negativ zu einer anderen Aussage bzw. dem central claim steht.

Manfred Stede entwickelte mit seiner Arbeitsgruppe ein ML Modell, welches eine Kombination aus evidence graphs (EG) und maximum spanning trees (MST) nutzt. Dazu werden zwei Klassifikatoren auf den einzelnen Bestandteilen und ein Klassifikator auf Bestandteilpaaren trainiert, um einen vollständig verbundenen, gerichteten Multigraph (EG) zu erstellen. Das bedeutet, dass jeder Knotenpunkt mit jedem anderen Knotenpunkt durch eine Kante verbunden ist und jede Kante eine Richtung angibt. Ein solcher Graph ist in Abbildung 3 links skizziert. Die Knoten haben nun Wahrscheinlichkeiten für die Labels Rolle (ro), Funktion (fu) und central claim (cc) und die Kanten für die Verbindung (at). Die Idee ist nun aus diesen verschiedenen Wahrscheinlichkeiten mithilfe eines Algorithmus genau eine Kantenwahrscheinlichkeit zu konstruieren.

Abbildung 5: Skizze eines vollständig verbundenen, gerichteten Multigraphs mit Wahrscheinlichkeiten für alle Labels, welche dann zu einer Kantenwahrscheinlichkeit zusammengefasst werden. Quelle: Präsentation von Manfred Stede

Der entscheidende Vorteil eines solchen vollständig verbundenen, gerichteten Multigraphs mit Kantenwahrscheinlichkeiten (Abbildung 5 rechts) ist, dass man darauf einen bestehenden Algorithmus zur Erstellung eines MSTs anwenden kann.

Ein MST ist ein Teilgraph, der nach folgenden Regeln erstellt wird:

  • Jeder Knoten des Ursprungsgraphen muss enthalten sein und einen Pfad zu jedem anderen Knoten haben
  • Die Gesamtsumme der Kantenwahrscheinlichkeit muss so groß wie möglich sein (bei einem maximum spanning tree)
  • Es dürfen keine Zyklen enthalten sein

Wendet man also einen MST Algorithmus auf den vollständig verbundenen, gerichteten Multigraph mit Kantenwahrscheinlichkeiten an, hat man die wahrscheinlichste Argumentationsstruktur für den Text gefunden.

Dieser Ansatz lieferte bei Experimenten gute bis sehr gute Ergebnisse, verglichen mit anderen Ansätzen zur Argument Structure Analysis. Besonders Funktion und central claim erkannte das Modell zuverlässig. Herausfordernd ist die Identifikation der Verbindung, da verbundene Bestandteile häufig eine große Distanz zueinander im Text haben.

Argument Construction: IBM Debater

Ebenfalls beschäftigt sich Argument Mining mit dem automatischen Erstellen von Argumenten. Ein Beispiel für ein bereits vorhandenes Tool, ist IBM Debater. IBM Debater ist ein System basierend auf Künstlicher Intelligenz (KI), welches dafür entwickelt wurde, live an menschlichen Debatten teilzunehmen. Im Kern müssen dafür claims und premises (Evidenz) zu einem vorgegebenen Thema gefunden werden. Um passende Bestandteile zu finden, wird in einer großen Textmenge wie dem kompletten englischen Wikipedia nach Aussagen gesucht, die ein ähnliches Thema behandeln. Die Prozedur basiert auf dem bereits vorgestellten Task der Stance Detection. Die target entity ist hier das vorgegebene Diskussionsthema. Wenn im Corpus ein möglicher Kandidat gefunden wurde, wird Stance Detection durchgeführt, um festzustellen, ob es sich um ein Argument für oder gegen das vorgegebene Thema handelt.

Fazit

Manfred Stede erklärte in seinem Vortrag anschaulich und anhand vieler Beispiele, was Argumentationen formal ausmacht und welche NLP Tasks sich daraus ergeben. Er verdeutlichte, dass sich Argument Mining aus verschiedenen Ebenen der Komplexität aufbaut und auf den niedrigschwelligeren Tasks Stance Detection und Sentimentanalyse basiert. Die bereits bestehende Forschung seiner Arbeitsgruppe beschäftigte sich sowohl mit dem Klassifikationstask Claim Detection als auch mit der Analyse von gesamten Argumentationsstrukturen. Durch die Konstruktion komplexer ML Modelle konnten in beiden Bereichen bereits vielversprechende Ergebnisse erzielt werden. Gleichzeitig wurden einige Herausforderungen im Argument Mining festgestellt. Stede stellte außerdem mit IBM Debater einen Ansatz zum Automatischen Generieren von Argumenten vor. Ob solche Modelle in naher Zukunft in der Lage sein werden, Menschen mit ihrer Argumentation von ihrem Standpunkt zu überzeugen, bleibt offen.

Quellen

Henkemans, F. S. (1994). James B. Freeman, dialectics and the macrostructure of arguments. A theory of argument structure.

Mohammad, S. M., Sobhani, P., & Kiritchenko, S. (2017). Stance and sentiment in tweets. ACM Transactions on Internet Technology (TOIT), 17(3), 1-23.

Schaefer, R., & Stede, M. GerCCT: An Annotated Corpus for Mining Arguments in German Tweets on Climate Change.

van Eemeren, F. H. (1996). Fundamentals of Argumentation Theory: A Handbook of Historical Backgrounds and Contemporary Developments [Text].

Zum Vortragenden: Manfred Stede ist seit 2001 Professor für Angewandte Computerlinguistik an der Universität Potsdam. Er studierte Computer Science und Linguistik in Berlin, Edinburgh, Indiana und Toronto. In Potsdam leitet er die Arbeitsgruppe ‚Discourse Research Lab‘, die sich mit dem automatischen Verstehen und Generieren von Texten und Textstrukturen beschäftigt.

Zur Autorin: Lea Grüner studiert nach ihrem Bachelorabschluss in Computerlinguistik an der Eberhard-Karls-Universität Tübingen nun Informationsverarbeitung im Master an der Universität zu Köln. Derzeit arbeitet sie als Werkstudentin bei einem IT-Unternehmen.


OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
dhstudi (9. September 2022). Kann Künstliche Intelligenz uns bald verbal ausdribbeln? – Argument Mining zum automatischen Erkennen und Generieren von Argumenten. Digital Humanities Cologne. Abgerufen am 12. Juli 2024 von https://doi.org/10.58079/nkku


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.