Koreferenz-Annotationen: eine Sichtweise aus CRETA

Die Bedeutung von Annotationen für Computerlinguistik und (digitale) Geisteswissenschaften ist kaum zu überschätzen. „Annotation as Basis for … Everything“ wählen Sarah Schulz und Nils Reiter als Titel für eine ihrer Präsentationsfolien. Dabei lag der Fokus des Vortrages auf Coreference Resolution bzw. Koreferenz-Annotationen, einer speziellen Form von linguistischen Annotationen. Was sind Koreferenz-Annotationen? Welche Problematik steckt dahinter? Wie wird Koreferenz praktisch annotiert? Diesen und weiteren Fragen widmeten sich die beiden Wissenschaftler vom Centrum für Reflektierte Textanalyse (CRETA) der Uni Stuttgart während ihres Gastvortrags „Reflected Text Analysis: Computational Linguistics meets Digital Humanities“ am 7. Juni 2018.

Annotationen: allgemeiner Überblick

Unter Annotationen wird eine Sichtbarmachung von bestimmten Kategorien im Text verstanden. Dabei werden die Kategorien entsprechenden Textfeldern mit klarem Beginn und Ende zugeordnet. So werden beispielweise Wortarten annotiert, indem bei jedem Wort dessen Wortart erfasst wird.

Annotationen können sowohl vom Menschen als auch maschinell durchgeführt werden. Beide Verfahren haben Vor- und Nachteile. Manuelle Annotationen sind meistens von höherer Qualität, indem beispielsweise die markierte Textspanne präzise ausgewählt wurde, jedoch sehr zeitaufwendig. Automatische Annotationen übernimmt die Maschine, dafür ist die Qualität von solchen Annotationen häufig nicht gut genug bzw. hängt von einigen Faktoren ab, wie zum Beispiel der Qualität und Quantität der Trainingsdaten oder der angewendeten Software.

Um die Qualität automatischer Verfahren zu evaluieren, werden in der Regel manuell erstellte Annotationen eingesetzt (als sogenannter ‚Goldstandard’). Das Wort „Goldstandard“ deutet auf hohe Qualität der Annotationen, das heißt auf sehr niedrige Fehlerquote. Bei der Evaluation der Ergebnisse werden die manuelle Annotationen (Goldstandard) mit den automatisch erstellten Annotationen verglichen. So sieht die Routine beim Annotieren bzw. bei der Evaluation aus:

Abbildung 1: Tägliche Arbeit von Computerlinguisten (Quelle: Präsentation)

Welchen weiteren Nutzen haben Annotationen? Sie werden für diverse Forschungszwecke verwendet, um beispielsweise unterschiedliche linguistische Theorien zu überprüfen oder verschiedene linguistische Phänomene zu untersuchen. Außerdem dienen die Annotationen als Ressourcen für das Training und die Evaluation von statistischen NLP(Link auf NLP: https://en.wikipedia.org/wiki/Natural_language_processing)-Systemen, wie zum Beispiel maschinelles Übersetzen oder automatische Spracherkennung (Quelle)

Koreferenz-Annotationen: Definition, Beispiele, Ziele und Richtlinien

Eine spezielle Form von linguistischen Annotationen sind Koreferenz-Annotationen. Koreferenz ist ein relativ gut erforschtes Phänomen in der Sprachwissenschaft. Koreferenz besteht dann, wenn in unterschiedlichen Ausdrücken auf das gleiche Objekt in der realen Welt verwiesen wird. So sind beispielsweise in den beiden aufeinanderfolgenden Sätzen „[Jana] lacht. [Sie] ist glücklich.“ die Wörter „Jana“ und „Sie“ koreferent.

Es gibt unterschiedliche Arten von Koreferenz. Einige von ihnen wurden von Nils Reiter in der Präsentation vorgestellt:

  • [A woman] bought a house. [The woman] lived happily ever after. (prototypical)
  • [A woman] bought a house. [She] lived happily ever after. (anaphoric
  • [Mary] bought a house. [The woman] enjoyed the garden. (coreferential)
  • [Mary likes to sing in the shower.] Her boyfriend hates [that]. (non-nominal antecedent.

    Im Vortrag wurden ebenso einige komplizierte Fälle von Koreferenz erwähnt:
  • Embedded mentions: [[Donald Trumps] Gouvernement]
  • Plural mentions: [John] was cooking for [Mary]. [They] enjoyed it.
    Discontinuity/relative clauses: Ich habe [die Sendungen] zur Post gebracht, [[die] hier schon lange rumliegen].

Koreferenz wird nach gewissen Richtlinien (Link zu Richtlinien) annotiert. Laut diesen Richtlinien sollen zum Beispiel die Pronomen nicht annotiert werden: „Pronomen (er, sie, es) können auf viele verschiedenen Dinge referieren. Da es sich um eine (ab-)geschlossene Wortklasse handelt, die wir gut automatisch im Text finden können, lassen wir sie bei der manuellen Annotation weg.“

Problematik bei Koreferenz-Annotationen

Die Erkennung von Koreferenz bereitet nicht selten Probleme, die sich nach bestimmten Arten klassifizieren lassen. Zu solchen Problemen gehören zum einen generische Ausdrücke. Generische Ausdrücke sind Referenzen auf Klassen. Das im Vortag vorgestellte Beispiel veranschaulicht den generischen Ausdruck bzw. die generische Referenz:

Der Wirt. […] Was liegt mir daran, ob ich es weiß, oder nicht, was Sie für eine Ursache hierher führt, und warum Sie bei mir im Verborgnen sein wollen? Ein Wirt nimmt sein Geld, und läßt seine Gäste machen, was ihnen gut dünkt. Waitwell hat mir zwar gesagt, […] (Lessing, Miß Sara Sampson)

Im Satz „Ein Wirt nimmt sein Geld, und läßt seine Gäste machen, was ihnen gut dünkt“ ist „Ein Wirt“ eine generische Referenz auf einen prototypischen Wirt, und nicht mehr auf den Wirt, der spricht.

Ein weiteres Problem bei der Auflösung von Koreferenz ist die Entwicklung von Figuren in Texten und die Textrezeption. Als Beispiele dafür nennt Nils Reiter zwei Märchen. So wird im Märchen „Der Froschkönig“ der Frosch zum König, und im Märchen „Rotkäppchen“ verkleidet sich der Wolf als Großmutter. Nun stellt sich die Frage, wie zum Beispiel die Großmutter annotiert werden soll, wenn sie eigentlich der verkleidete Wolf ist. Denn die LeserInnen wissen, dass es sich nicht um die Großmutter, sondern um den Wolf handelt. Aber Rotkäppchen weiß es nicht.

Ein weiteres Problem bei der Auflösung von Koreferenz kann entstehen, wenn Weltwissen bzw. fachliches Wissen eingesetzt werden soll. Das im Vortrag vorgestellte Beispiel zeigt die Notwendigkeit des allgemeinen bzw. des fachlichen Wissens, um Koreferenz zu entschlüsseln:

Hermann. […] Da Karl auf der Welt nichts mehr zu hoffen hatte, zog ihn der Hall von Friederichs siegreicher Trommel nach Böhmen. Erlaubt mir, sagte er [zum großen Schwerin], daß ich den Tod sterbe auf dem Bette der Helden […]. (Schiller, Die Räuber)

So ist in diesem Beispiel mit „großer Schwerin“ nicht Friedrich, sondern „Kurt Christoph Graf von Schwerin“ gemeint. Zu diesem Schluss kann man allerdings nur gelangen, wenn ein gewisses Weltwissen vorliegt.

Noch ein Phänomen, das bei der Auflösung von Koreferenz-Problemen entstehen kann, heißt Bridging. Beim Bridging geht es um die Referenz auf Entitäten, die mit vorher erwähnten Entitäten in Zusammenhang stehen:

Mary bought [a car]. [The engine] is strong. 

Es besteht eine Relation zwischen “car” und “engine”. In diesem Fall ist es relativ einfach zu entschlüsseln, dass „engine“ mit „car“ zusammenhängt bzw. dass es um den Motor dieses Autos geht. Jedoch gibt es weitaus kompliziertere Fälle, wie ein weiteres im Vortrag vorgestelltes Beispiel zeigt: 

Mellefont. Mit Unrecht tadelt sie die Verzögerung [einer Zeremonie] […].

Sara. Neue Freunde sollen die Zeugen [unserer Verbindung] sein? […]

Mellefont. Aber überlegen Sie denn nicht, Miss, dass [unserer Verbindung] hier diejenige Feier fehlen würde, die wir ihr zu geben schuldig sind? (Lessing, Miß Sara Sampson)

Im letzten Satz ist nämlich nicht klar, ob es sich bei „unserer Verbindung“ um den Akt der Eheschließung oder um den Zustand (die Ehe) handelt.

Zudem kommen oft Probleme beim Annotieren von Koreferenz vor, wenn blumige Sprache behandelt wird, die durch euphemistische Ausdrücke lebendig und expressiv ist. Folgendes Beispiel von Annotation für blumige Sprache wurde im Vortrag vorgestellt:

Mellefont. […] ich hatte noch keine verwahrloste Tugend auf meiner Seele. Ich hatte noch keine Unschuld in ein unabsehliches Unglück gestürzt. Ich hatte noch keine Sara aus dem Hause eines geliebten Vaters entwendet, und sie gezwungen, einem Nichtswürdigen zu folgen, der auf keine Weise mehr sein eigen war.

Zur Zeit der Äußerung hat Mellefont Sara entführt. „kein X“ wird im Allgemeinen als generisch und daher nicht-verweisend verwendet. Aber in der vorliegenden Äußerung ist der Ausdruck eindeutig mit einer nicht-generischen Einheit (Sara) verbunden und wird so vom Leser verstanden.

Ein weiteres Problem stellen „nicht nominale Vorläufer“ dar. In der Grammatik ist ein Vorläufer ein Ausdruck, der einer Verweisform seine Bedeutung gibt, wie dieses Beispiel zeigt:

Waitwell. Sara liebt ihren Vater noch. Wenn Sie nur [davon] überzeugt sein wollen.

Hier bezieht sich „davon“ auf den gesamten Satz: „Sara liebt ihren Vater noch.“

Ein weiteres wiederkehrendes Problem ist Ambiguität, die das Annotieren von Koreferenz erschwert. Das im Vortrag vorgestellte Beispiel dafür lautet:

“Vierzehn Personen, darunter zwei Professoren der Universität, […] Der Universitätsprofessor versuchte es […][…] und einer von den Professoren versuchte [… ]Einer von den Universitätsprofessoren trat hin […]” (Perutz, Nur ein Druck auf den Knopf)

Dieses Beispiel zeigt, dass nicht klar ist, welcher Professor gemeint ist.

Annotation Tools: WebAnno und CorefAnnotator

Für das Annotieren von Koreferenz gibt es verschiedene computergestützte Werkzeuge. Einige Anforderungen an die Annotationswerkzeuge wurden im Vortrag erörtert.

Zunächst geht es darum, dass ein Werkzeug beim Umgang mit Gruppierung eine gute Performance erzielen soll. In der Linguistik treten diskontinuierliche Ausdrücke bezüglich desselben Objekts auf, wenn die Ausdrücke durch andere Komponenten getrennt werden, die selbst keinen Bezug auf das Objekt haben. Ein Werkzeug soll diskontinuierliche Ausdrücke so gut wie möglich behandeln.

Zweitens soll ein Werkzeug auch noch den erwünschten Output realisieren, wenn ein sehr langer Text zu annotieren ist. Enthält ein Text viele Entitäten, darf die Performance des Werkzeuges nicht nachlassen.

Drittens sind die Annotationsformate zu berücksichtigen, um die Wiederverwendung und Interoperabilität der Annotationen zu gewährleisten. Annotationen kommen in vielen verschiedenen Formaten vor, was es oft sehr schwierig macht, auf sie zuzugreifen und miteinander problemlos zu integrieren. Es gibt einige gängige Formate, wie zum Beispiel XML-TEI. Die Wahl des Formats sollte nach gewissen Kriterien erfolgen, wie zum Beispiel: Handelt es sich um einen anerkannten Standard? Sind Strukturierungen, Hierarchien und Querverweise möglich? Durch welche Instrumente wird das Format unterstützt? (Quelle)

Im Folgenden werden zwei Annotationswerkzeuge vorgestellt, WebAnno (https://webanno.github.io) und CorefAnnotator ( https://github.com/nilsreiter/CorefAnnotator).

WebAnno ist ein webbasiertes Annotationswerkzeug, das XML-TEI Dateien direkt bearbeitet. Die Vorteile solcher Annotationswerkzeuge liegen daran, dass sie leicht verfügbar und benutzerfreundlich sind. Zudem ist die Validität der Annotationen dank XML automatisch sichergestellt. Die Nachteile bestehen darin, dass die Annotationen langsam, umständlich und fehleranfällig sein können. Mit WebAnno ist es unmöglich, sowohl lange Dokumente als auch lange Koreferenz-Ketten zu verarbeiten.

CorefAnnotator ist ein Annotationswerkzeug, das im Gegensatz zu WebAnno für lange Texte mit vielen Entitäten entwickelt wurde. Zu den Merkmalen und Vorteilen dieses Werkzeugs zählen:

  • Entitäten werden als Reihe von Erwähnungen dargestellt. Es gibt keine binären Beziehungen zwischen Erwähnungen.
  • Das Werkzeug ist mit einer Tastatur für schnelle Annotation verwendbar.
  • Basierend auf Kontext und vorherigen Annotationen (halbautomatische Annotation), kann die automatische Generierung von Kandidaten-Entitäten vorgenommen werden.
  • Annotationen werden im Stand-Off-Format gespeichert, wobei UIMA eingesetzt wird.
  • Das Werkzeug ist kompatibel mit WebAnno.
  • Import und Export können in verschiedenen Formaten (CoNLL, XML-TEI *) vorgenommen werden.
  • Die Open Source Apache-Lizenz 2.0.

Fazit

Im Zuge der Digitalisierung gewinnen Annotationen immer mehr an Bedeutung. Koreferenz-Annotationen sind dabei keine Ausnahme. Den Menschen kann die Erkennung von Koreferenz und damit das Annotieren der Koreferenz nicht selten Schwierigkeiten bereiten. Für Computer, das heißt für die Software, die die Texte automatisch annotieren kann, ist es noch komplizierter. Die Wissenschaftler aus CRETA beschäftigen sich unter anderem mit dieser Problematik und haben ein Tool entwickelt, mit dem die Koreferenz-Annotationen (halb)automatisch durchgeführt werden können.

Zu den Autoren: Sviatoslav Drach absolvierte Zwei-Fach Bachelor Medienkulturwissenschaft und Informationsverarbeitung und studiert zurzeit Informationsverarbeitung als Ein-Fach Master an der Universität zu Köln. Er arbeitet als wissenschaftliche Hilfskraft beim CCeH (Cologne Center for eHumanities). Jie Chen ist Masterstudentin im Fach Informationsverarbeitung an der Universität zu Köln.


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.