Im Rahmen des Kolloquiums stellten Lisa Dieckmann, Jürgen Hermes und Claes Neuefeind am 16.06. ihren Ansatz zur automatischen inhaltlichen Erschließung und Annotation kunsthistorischer Daten vor. Es handelt sich hierbei um ein geplantes Projekt, das im Laufe des Jahres eingereicht werden soll und zu dem zur Zeit eine von der Philosophischen Fakultät der Universität zu Köln geförderte Vorstudie läuft, der die Daten aus dem prometheus Bildarchiv zu Grunde liegen.

Das prometheus Bildarchiv und die Grundproblematik

Bei dem prometheus Bildarchiv handelt es sich um ein verteiltes digitales Bildarchiv für Forschung und Lehre in der Kunstgeschichte und benachbarten bildbasierten Disziplinen. Der Grundgedanke bei der Erstellung des Archivs war es, die vielen Datenbanken von Universitätsinstituten, Forschungsinstitutionen und Museen an einem gemeinsamen Ort zusammenzutragen. prometheus umfasst mittlerweile 1,5 Millionen Datensätze aus 88 verschiedenen Datenbanken.

Das Bildarchiv wurde von 2001 bis 2004 vom Bundesministerium für Bildung und Forschung gefördert und finanziert sich seit 2008 eigenständig über die Vergabe von Lizenzen. Dabei wird prometheus mittlerweile von über 150 Institutionen genutzt. Zusätzlich zu den Zugriffen über Campus-Netze, gibt es ca. 10.000 persönliche Nutzeraccounts und es werden etwa 15.000 Suchanfragen pro Tag gestellt.

Die Suchfunktion ist die meistgenutzte Funktion des Bildarchivs, weswegen hier der Hauptfokus der Weiterentwicklung liegt. Die prometheus zu Grunde liegenden Datenbanken liegen in unterschiedlichen Formaten vor. Dies führt zu einem der größten Probleme, und zwar einer extremen Heterogenität der Daten.

Es wird generell jede Form von Textexport unterstützt. Viele der Sammlungen liegen zwar im XML-Format vor, aber dann mit unterschiedlichen Strukturen. Des Weiteren verwenden einige Institutionen Museumsformate, Standards wie Midas oder auch eigene Strukturen. Diese große Vielfalt an verschiedenen Formaten würde es sehr aufwändig machen eine übergreifende Struktur zu finden, in die die Einträge konvertiert werden könnten. Da man zudem die Individualität erhalten möchte, werden die Daten in ihren Ursprungsformaten belassen.

Um die Daten durchsuchbar zu machen, müssen Sie indexiert werden. Während des Indexierungsprozesses werden die Daten analysiert. Hierbei werden die Metadaten mit Synonymen angereichert. So werden etwa Künstlernamen mit alternativen Schreibweisen annotiert, welche aus der PKND (prometheus KünstlerNamensansetzungsDatei) stammen, die sich aus der ehemaligen Personennormdate und dem Allgemeinen Künstlerlexikon zusammensetzt. Weiterhin wird auch ein Link zur VG Bild-Kunst generiert. Diesem automatisierten Prozess haftet jedoch ein gewisses Fehlerpotenzial an. Als Beispiel könnte Renaissance-Künstler Raphael mit einem noch lebenden Künstler mit dem Vornamen Raphael gleichgesetzt werden.

Auch für die Titel von Werken gibt es keine festen Normen, wodurch die Verknüpfung der heterogenen Einträge mit Normdaten erschwert wird. Verschiedene Werke können den gleichen Titel besitzen oder ein Werk kann unter verschiedenen Titeln auftauchen. Es existiert zwar die Gemeinsame Normdatei (GND), die unter anderem Kunstwerke eindeutig verzeichnet, diese kann jedoch nur von bestimmten Institutionen modifiziert werden. Eine Lösung über wikidata ist eine mögliche Alternative, bringt aber alle Schwierigkeiten des Crowdsourcings mit sich.

Die Hauptproblematik bei der Verarbeitung der Datensätze ergibt sich also aus dem Erkennen von Duplikaten in den verschiedenen Datenbanken und der Verknüpfung der entsprechenden Einträge. Zusätzlich enthalten einige Datenbanken auch Reproduktionen von Werken, sodass hier eine Unterscheidung zum Original stattfinden muss.

Die Vorstudie

Der erste Ansatz zum Erkennen von Duplikaten wäre sicherlich eine Analyse der Bilder mit Hilfe eines optischen Vergleichs. Dies bringt jedoch seine eigenen Probleme mit sich, da es sich bei vielen der vorhandenen Werke nicht um Gemälde, sondern um dreidimensionale Gegenstände wie etwa Gebäude, Skulpturen, Siegel oder Stäbe handelt. Hier würden eine leichte Abweichung der Kameraperspektive oder Unterschiede in der Belichtung eine mögliche Erkennung erschweren. Die im Folgenden erläuterte Vorstudie verfolgt deswegen den Ansatz einer Analyse der Metadaten.

Jeder Eintrag des prometheus Bildarchivs besitzt ein umfangreiches Set an Metadaten. Diese umfassen Künstlernamen, Titel, Datierungen bis hin zu Beschreibungen zum Werk in Form von Fließtext. Hierbei muss erwähnt werden, dass nicht jedes Werk jede Information enthält und auch nicht zwingend im gleichen Format. Um die Wahrscheinlichkeit eines Matchings zu erhöhen, soll nun im Rahmen der vorgestellten Vorstudie neben dem Titel, Künstler und dem Entstehungsjahr auch die Beschreibung unter der Anwendung von Techniken der Computerlinguistik analysiert werden.

Es wird zuallererst eine Named Entity Recognition durchgeführt. Hierbei werden die Namen von erwähnten Personen, Orten und Werken annotiert. Danach erfolgt eine Temporal Expression Detection, die sich des Hervorhebens von zeitlichen Ausdrucksweisen wie Jahreszahlen oder relativen Zeitangaben widmet. Hierbei hat besonders HeidelTime Erwähnung gefunden. HeidelTime ist ein multilingualer Tagger der Universität Heidelberg, der Zeitangaben extrahieren und in den TIMEX3 Standard konvertieren kann.

Anschließend wird der Text nach relevanten domänen-spezifischen Ausdrücken durchsucht. Im Rahmen des prometheus Bildarchivs handelt es sich dabei um Format- und Größeninformationen, der Art eines Werkes (z.B. Gemälde oder Holzschnitt), Materialien oder angewandten Techniken. Diese spezifischen Begriffe lassen sich durch einen Vergleich der Verwendungshäufigkeit in allgemeinen Texten im Gegensatz zur Häufigkeit in Texten aus einem Kunstkontext bestimmen. Abschließend könnte hier auch eine Relation Extraction durchgeführt werden. Diese würde die in den vorhergehenden Schritten annotierten Informationen in einen Kontext setzen und könnte sich auch als sinnvoll erweisen.

Wie man allein aus der Menge der angewandten Techniken sieht, wird durch diese Analyse eine Vielzahl neuer Metadaten generiert. Mit diesen neuen Metadaten können nun bessere Vergleiche getätigt werden: Wurden gleiche Techniken verwendet (z.B. vergoldet, ziseliert)? Werden Personen in beiden Beschreibungen erwähnt? Gibt es eine Überlappung von Zeiträumen?

Die Ergebnisse sollen zusätzlich durch eine Gewichtung von Merkmalen verbessert werden (eine Übereinstimmung des Titels ist wahrscheinlich relevanter als die einer Jahreszahl in der Beschreibung). Auf diese Weise kann ein Distanzwert zwischen Einträgen errechnet werden, der bezeichnet wie ähnlich sie sich sind. Das System kann so Vorschläge ausgeben, die zu Beginn noch einer manuellen Korrektur bedürfen. Die Gewichtung der Merkmale soll durch die Verwendung bereits erfasster Werke als Trainingskorpus weiter optimiert werden.

Fazit

Es handelt sich bei dem geplanten Projekt um ein interessantes Vorhaben mit weitreichenden Anwendungsmöglichkeiten. Die Generierung neuer Metadaten aus den Beschreibungen der Werke bietet in ihrer einfachsten Form einen Weg fehlende Angaben wie etwa das Entstehungsjahr zu ergänzen oder zu präzisieren. Viel wichtiger sind jedoch die Generierung neuer strukturierter Informationen und das Aufwerfen neuer Forschungsfragen. Wird etwa eine Ähnlichkeit zwischen Werk A und B festgestellt und weiterhin Ähnlichkeit zwischen Werk B und C, nicht aber zwischen C und A, gibt es hier vielleicht doch Ähnlichkeiten, die der aktuellen Forschung bisher nur nicht bewusst geworden sind?

Da es sich hier erst um eine Vorstudie handelt, gibt es natürlich auch noch einige Schwierigkeiten zu überwinden. So verfügt nur etwa die Hälfte der Datensätze über einen beschreibenden Text. Dieser Ansatz ist also weniger als top-down Lösung für alle Einträge zu betrachten, sondern eher als Werkzeug, um einen großen Teil der bisher unbearbeiteten Objekte zu erfassen.

Zum Autor: Rona Erdem hat einen BA-Abschluss in Informationsverarbeitung und English Studies (Universität zu Köln) und studiert zur Zeit den MA Informationsverarbeitung an der Uni Köln. Er arbeitet als Wissenschaftliche Hilfskraft im Computerpool “Vermittelndes Lernen” der Sprachlichen informationsverarbeitung.