It’s a Match – Ein Machine Learning Ansatz zur Erforschung mittelalterlicher Handschriften

Hannah Busch stellte im Rahmen des Kolloquiums Digital Humanities – Aktuelle Forschungsprojekte das seit nun drei Jahren laufende Projekt „Digital Forensics for Historical Documents – Cracking cold cases with new technology” vor, im Rahmen dessen sie als Doktorandin am Huygens Institute für die Geschichte der Niederlande in Amsterdam promoviert. In ihrem Vortrag „Matching Medieval Manuscripts – Ein Machine Learning Ansatz zur Erforschung mittelalterlicher Handschriften“ (https://youtu.be/SJFnpWMwQFA), präsentierte Hannah Busch eine neue Analysemethode zur Datierung und Lokalisierung mittelalterlicher Handschriften mittels Machine Learning. Ein digitales Tool soll aus Manuskriptsammlungen die einzigartigen Merkmale einer mittelalterlichen Schriftprobe mit ähnlichen Schriftproben abgleichen, um diese paläographisch zuordnen zu können.

Was ist überhaupt digitale Paläographie?

Im Allgemeinen versteht man unter Paläographie (zusammengesetzt aus gr. palaios (=”alt, ur-“) und graphein (= “schreiben”)) die Erforschung historischer Schriftsysteme. Darunter fallen die Entzifferung von alten Schriften, die Zuweisung von Schreibhänden sowie die Datierung und Lokalisierung der Herkunft einer Handschrift. Die Aufgabe der Paläographie ist es also, die Schriftentwicklung nachvollziehen zu können und historische Schriften räumlich und zeitlich einordnen zu können.

Die Herausforderung der Paläographie besteht darin, dass sich die Schriftart im Gegensatz zur heutigen Zeit im Mittelalter stetig verändert hat. Zudem sind die Beschreibungen der Handschriften häufig sehr vage und die Paläographie baut auf den Erfahrungen von Experten auf. Hier spielt die digitale Paläographie eine wichtige Rolle, denn diese unterstützt und ergänzt die klassische Paläographie mit digitalen Technologien. Eine dieser Technologien ist der Machine Learning Ansatz, welcher in dem Projekt zur Datierung und Lokalisierung mittelalterlicher Handschriften angewendet wird. Die Nutzung solcher Technologien erfordert große Datenmengen von digitalisierten Manuskripten. Die Massendigitalisierung von mittelalterlichen Handschriften sowie die Möglichkeit der Weiternutzung durch IIIF (International Image Interoperability Framework) machen es möglich, mithilfe von Machine Learning mittelalterliche Handschriften auf eine neue Art und Weise zu analysieren. Das Projekt von Hannah Busch ist eines der ersten Projekte, welches versucht, die gesamten IIIF zugänglichen Datenbestände miteinzubeziehen. 

Das Endprodukt

Am Ende des Projekts soll ein Softwaresystem stehen, bei dem Forscher*innen Bilder von mittelalterlicher Handschrift einfügen können und ihnen Bilder ähnlicher Schriften ausgegeben werden. Die Metadaten, mit welchen die ausgegebenen Bilder angereichert wurden, z.B. die Werke, aus denen sie stammen, können den Forscher*innen helfen, die in die Suche eingegebene Schriftzeile in Schriftart, sowie Ort und Zeit der Entstehung zu kategorisieren. Diese Technologie könnte auch als Erweiterung für bestehende Suchmaschinen genutzt werden. Dort könnte dann, zusätzlich zu einer Schlagwortsuche, ein Bild einer Seite mittelalterlicher Schrift oder einzelne Schriftzeilen eingefügt werden, um relevantere Suchergebnisse anzeigen zu können. Dies könnte Forschenden in vielen Disziplinen, wie Paläographie, Archäologie oder Linguistik, helfen.

Die Funktionsweise

Damit die Wissenschaftler*innen auch die passende Schrift zu ihrem eigenen Sample zurückbekommen, haben Hannah Busch und ihr Team ein künstliches neuronales Netzwerk (KNN) entwickelt, welches die vergleichende Bildanalyse automatisiert durchführt. Man muss sich diese Anwendung gemäß dem Vortrag als eine Art Schüler vorstellen, welcher erstmal das Betrachten und Analysieren der Handschriften erlernen muss. Es geht also darum, menschliche Denkmuster nachzuahmen und technisch umzusetzen. Dies passiert in diesem Fall in einem Prozess des sog. supervised learnings (überwachtes Lernen). Die Software lernt, eine Schrift mit einer anderen Schrift abzugleichen. In diesem Fall sind Input und Output des KNNs bekannt; welche Eigenschaften das KNN berücksichtigt, um die Schrift zuzuordnen, ist jedoch unbekannt.

Für Softwaresysteme dieser Art sind die folgenden Komponenten wichtig: die Datenmenge und die Modellarchitektur, die die Ähnlichkeit zwischen den Textzeilen berechnet. Die Ähnlichkeit wird anhand einer Distanzmessung zwischen zwei Datenpunkten, d.h. zwei Bildern, durchgeführt. Im Folgenden werden die einzelnen Komponenten und ihre technische Funktionsweise erklärt.

Daten, Daten, Daten

Wie eingangs beschrieben, werden in diesem Projekt hauptsächlich Digitalisate von Ausschnitten bzw. einzelne Sätze von mittelalterlichen Handschriften verarbeitet. Hieraus wird ein Datensatz generiert, welcher sowohl zum Trainieren als auch zum Testen und Validieren des Modells bzw. zum Trainieren des „Schülers“ benutzt wird.

Der Datensatz bzw. das Data Set wird hierbei manuell von Hand erstellt. So schaffen es nur Seiten in den Datensatz, welche über ein simples Layout, keine Schrift- und Schreiberwechsel, nicht zu viel Glossierung und eine gute Qualität (keine Flecken oder Materialschäden) verfügen. Zusätzlich werden für jede Seite Metadaten erfasst: Ort, Zeit und Schriftart. Aus diesen Daten wird ein Label für jedes Bild erstellt, welches in diesem überwachten Lernprozess als Ground Truth fungiert. Um die Erfassung der Metadaten zu erleichtern, wurde im Verlauf des Projektes ein Tool zur Erstellung und Erfassung von Labels entwickelt.

In diesem Tool werden Seiten mittelalterlicher Schriften aus der e-codices Sammlung (https://www.e-codices.unifr.ch/de) angezeigt. Hier können Seiten ausgewählt werden, die für das Training des Modells genutzt werden sollen. Wie in Abbildung 1 zu sehen, können zusätzlich Metainformationen wie Schriftart, Ort und Zeit eingetragen werden, falls diese nicht schon direkt aus den e-codices-Metadaten extrahiert werden konnten.

Abbildung 1: Das Tool zur Erstellung des Datensets.

Dieses Tool soll in Zukunft auch Expert*innen und Student*innen zur Verfügung gestellt werden und somit eine Community geschaffen werden, die die Erstellung von Trainingsdaten gemeinschaftlich bewältigt. Somit könnten auch Student*innen an diesem wegweisenden Projekt teilhaben. Dieses Vorhaben konnte aufgrund der Pandemie jedoch leider bisher nicht umgesetzt werden.

Die Erstellung des Datensatzes insgesamt gestaltet sich sehr kleinteilig, weil es pro Schriftart, Zeit und Ort nur wenige Beispiele gibt. Diese wurden dann zusammengefügt und jeweils entweder in ein Trainingsdatenset, ein Testdatenset oder in das Validierungsdatenset eingefügt. Hierbei ist wichtig zu wissen, dass die Mehrheit der Bilder in das Trainingsdatenset einfließen.

Preprocessing

Nachdem der Datensatz aus den Bildern, ihren Metadaten und dem korrekten Label erstellt wurde, ist der nächste Schritt, alles so aufzubereiten, dass der künstliche Schüler bzw. das Modell auch korrekt damit arbeiten kann. Diesen Prozess bezeichnet man im Kontext von maschinellem Lernen auch als Preprocessing (Vorverarbeitung).

Zunächst wird das Bild vorbereitet: Es wird komprimiert und auf ein bestimmtes Größenverhältnis skaliert. Im nächsten Schritt werden das Layout der Seite aufgenommen und einzelne Zeilen extrahiert. Mit diesen Zeilen kann das Modell nun anfangen zu trainieren.  

Modell

Das Team rund um Hannah Busch verwendet ein sog. siamesisches neuronales Netzwerk für die automatisierte Bildersuche, welches mit dem bereits beschriebenen Datensatz trainiert wird.

Modellansatz

Der Ansatz, den Hannah Busch dabei verfolgt, stammt aus der Gesichtserkennung und wird beispielsweise in biometrischen Zugangssystemen bei Smartphones genutzt.

Dabei erstellt ein künstliches neuronales Netzwerk Merkmale für jedes Gesicht, das das Smartphone entsperren können soll. Diese Merkmale werden auf dem Smartphone abgespeichert. Versucht anschließend jemand dieses Smartphone mithilfe von Gesichtserkennung zu entsperren, wird das durch die Smartphone-Kamera aufgenommene Gesicht durch das künstliche neuronale Netzwerk geleitet und die Merkmale extrahiert. Daraufhin werden die soeben erstellten Merkmale mit den Merkmalen der Gesichter, die das Smartphone abgespeichert hat, abgeglichen. Sind die extrahierten Merkmale nah an denen eines abgespeicherten Gesichts, wird das Smartphone entsperrt. Wird kein Gesicht gefunden, bei dem die Merkmale zu dem Gesicht passen, das durch die Kamera aufgenommen wurde, bleibt das Smartphone gesperrt.

Das System von Hannah Busch soll, wie in Abbildung 2 gezeigt, ähnlich funktionieren. Dabei sollen jedoch keine Merkmale von Gesichtern, sondern von Zeilen mittelalterlicher Schrift extrahiert und gespeichert werden. Das Prinzip, neue Zeilen mittelalterlicher Schrift durch das künstliche neuronale Netzwerk zu leiten, die Merkmale zu extrahieren und mit den zuvor gespeicherten Merkmalen zu vergleichen, ist dasselbe wie bei der Smartphone-Gesichtserkennung. Anschließend werden alle zuvor abgespeicherten Textzeilen nach Ähnlichkeit zu dem eingespeisten Bild geordnet und die relevantesten (ähnlichsten) Textzeilen ausgegeben. Das System wird hierdurch von einem Authentifizierungssystem in ein Information Retrieval-System erweitert.

Abbildung 2: Die Funktionsweise des künstlichen neuronalen Netzwerks. Zwei Textproben werden miteinander verglichen und festgestellt, wie ähnlich diese zueinander sind.

Das künstliche neuronale Netzwerk

Als Machine-Learning-Modell wird in dem Projekt von Hannah Busch ein siamesisches Netzwerk verwendet. Dieses besteht aus zwei identischen Netzwerken, die ein Convolutional Neural Network als Grundgerüst besitzen. In diese beiden Netzwerke wird während des Trainingsprozesses jeweils ein Bild eingespeist. Von jedem dieser Bilder werden die Merkmale extrahiert, die das künstliche neuronale Netzwerk als wichtig ansieht. Anschließend werden die Merkmale beider Bilder miteinander verglichen und überprüft, ob beide Bilder ähnliche Merkmale aufweisen oder nicht. Das Netzwerk soll bei Hannah Busch Textzeilen, die in Schriftart, Ort und Zeit übereinstimmen, als ähnlich identifizieren. Beschreibt das Netzwerk Bilder als ähnlich, die nicht in diesen Eigenschaften übereinstimmen, lernt es, sich auf andere Merkmale der Textzeilen zu fokussieren. Nach erfolgreichem Training kann das siamesische Netzwerk schließlich Merkmale extrahieren, mit denen es verschiedene Schriften, die an unterschiedlichen Orten und zu unterschiedlichen Zeitpunkten verfasst wurden, möglichst gut differenzieren kann.

Herausforderungen

Die Umsetzung einer solch komplexen Architektur bringt einige Herausforderungen mit sich. Neben der Programmierung und technischen Umsetzung des Machine Learning-Models betrifft dies vor allem die Erstellung des Datensatzes. Hier ist die mangelnde Bildqualität und Komplexität der Dokumente ein Problem. Letzteres macht sich bspw. durch Mehrsprachigkeit und besonderes Layout bemerkbar. Zudem sind altersbedingte Schäden am Beschreibstoff und das Durchscheinen von Tinte ein Problem. Allerdings: auch die Metadaten können eine Herausforderung darstellen. Nicht nur gibt es keinen einheitlichen Standard zur Erfassung dieser. Auch sind manche Informationen, z.B. die Ortsangabe, ungenau oder fehlen gänzlich.

Nächste Schritte

Hannah Busch und ihr Team leisten mit diesem Projekt einen wichtigen Beitrag für die digitale Paläographie.

Das System wird derzeit nur für westliche Schriften trainiert, daher kann die Anwendung auf andere Schriftsysteme ausgeweitet werden, z.B. auf einige asiatische Schriftsysteme.

Nach Vollendung des Projektes sollen die fertige Anwendung und ihr Source Code komplett open-source zur Verfügung gestellt werden. Dies eröffnet eine großartige Möglichkeit für Wissenschaftler*innen aus anderen Disziplinen dieses Projekt auf ihren Usecase anzupassen und die hier entwickelte Modell-Architektur zu nutzen.  Auch wäre die Nutzung in einem wirtschaftlichen Kontext denkbar, gemäß Hannah Busch aber eher unwahrscheinlich.

Darüber hinaus wird das Tool zur Annotation der Bilder ebenfalls open-source zur Verfügung gestellt. Dies könnte beispielsweise im Bereich der Kunsthistorik eingesetzt werden, um weitere Nutzung zu ermöglichen.

Fazit

Zusammenfassend zeigte Hannah Busch zahlreiche interessante Einblicke in die digitale Paläographie und ihr Projekt. Die automatisierte Bildsuche mithilfe von Machine Learning und kuratierten Datensätzen von mittelalterlichen Handschriften bieten einen tollen neuen Ansatz für die Forschung und sind gleichzeitig sehr nah am aktuellen Stand der Technik. Wir bedanken uns sehr für den schönen Vortrag und freuen uns, weiteres von Hannah Busch und ihrem Team zu hören.


Zu den Autor*innen:

Nina Eckertz studierte im Bachelor Medienwissenschaften und Medieninformatik an der Universität zu Köln. Aktuell studiert sie Informationsverarbeitung im Master und arbeitet als Werkstudentin im Bereich Softwareentwicklung bei einem IT-Dienstleister.

Annika Fischer studierte im Bachelor Medienwissenschaften und Medieninformatik an der Universität zu Köln. Aktuell studiert sie Informationsverarbeitung im Master und arbeitet als Werkstudentin in einer IT-Beratung.

Thomas Oehlke studiert, nach abgeschlossenem Studium im Bachelor in Musikwissenschaft und Informationsverarbeitungs, aktuell Informationsverarbeitung im Master. Er arbeitet als Systemadministrator in einem Kölner Förderverein und ist selbstständiger Softwareentwickler.


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.