Dr. Mirella De Sisto von der Universität Tilburg hielt einen aufschlussreichen Vortrag zum Thema “Sign Languages and Machine Translation: Challenges and Opportunities” (z. Dt.”Gebärdensprachen und maschinelle Übersetzung: Herausforderungen und Chancen”). Der Vortrag fand im Rahmen der Vortragsreihe zu digitalen Geisteswissenschaften im Sommersemester 2024 statt und beleuchtete die Besonderheiten von Gebärdensprachen sowie die Herausforderungen bei ihrer computerlinguistischen Verarbeitung und maschinellen Übersetzung.
Dr. De Sisto, die am EU-geförderten SignON-Projekt beteiligt ist, gab dabei Einblicke in aktuelle Forschungsansätze, die an Lösungen für die automatische Übersetzung zwischen Laut- und Gebärdensprachen arbeiten.
Besonderheiten von Gebärdensprachen
Gebärdensprachen sind vollwertige natürliche Sprachen, die sich der visuell-gestischen Modalität bedienen. Sie nutzen sowohl manuelle (Hände) als auch nicht-manuelle Artikulatoren (Gesicht, Körperhaltung). Diese multimodale Natur führt zu einigen wichtigen Unterschieden gegenüber Lautsprachen:
- Simultaneität: Anders als Lautsprachen, die eher sequenziell aufgebaut sind, können in Gebärdensprachen mehrere Informationen gleichzeitig vermittelt werden. Verschiedene Artikulatoren wie Hände, Gesicht und Körperhaltung werden parallel eingesetzt.
- Nutzung des Raums: Der dreidimensionale Raum vor dem Körper wird in Gebärdensprachen linguistisch genutzt, z.B. um Beziehungen zwischen Objekten oder Personen darzustellen.
- Ikonizität: Viele gebärdensprachliche Ausdrücke haben eine bildhafte Komponente. So kann die Form oder Bewegung eines Objekts direkt in der Gebärde nachgeahmt werden.
- Produktives Lexikon: Neben festen Gebärden gibt es in Gebärdensprachen viele produktiv gebildete Ausdrücke, die spontan neu geschaffen werden.
Diese Eigenschaften machen deutlich, dass Ansätze aus der maschinellen Übersetzung von Lautsprachen nicht einfach übertragen werden können. Es bedarf spezifischer Methoden, um die visuelle und räumliche Natur von Gebärdensprachen adäquat zu erfassen.
Herausforderungen für die maschinelle Übersetzung
Dr. De Sisto erläuterte in ihrem Vortrag zwei zentrale herausfordernde Bereiche für die maschinelle Übersetzung von Gebärdensprachen:
- Datenmangel:
- Quantität: Für die meisten Gebärdensprachen gibt es nur sehr wenige annotierte Korpora. Das größte Korpus für Deutsche Gebärdensprache umfasst etwa 60.000 Sätze – im Vergleich zu 500.000 Sätzen für gering-ressourcierte Lautsprachen.
- Qualität: Viele verfügbare Daten stammen aus TV-Übersetzungen und repräsentieren möglicherweise nicht authentische Gebärdensprache von Muttersprachlern.
- Format: Vorhandene Datensätze liegen in unterschiedlichen Formaten vor (ELAN für Korpora, JSON/CSV für maschinelles Lernen) und verwenden unterschiedliche Annotationskonventionen.
- Anpassung der MT-Methoden:
- Fehlende Standardschreibweise: Anders als Lautsprachen verfügen Gebärdensprachen über keine etablierte Schriftform.
- Segmentierung: Die Unterteilung eines kontinuierlichen Gebärdenstroms in diskrete Einheiten ist aufgrund der simultanen Struktur nicht trivial.
- Form-Bedeutungs-Zuordnung: Es ist schwierig, einzelnen Formaspekten (wie Handformen oder Bewegungen) eindeutige Bedeutungen zuzuordnen.

Abbildung 1 verdeutlicht den eklatanten Unterschied in der Datenmenge zwischen dem größten deutschen Gebärdensprachkorpus (ca. 60.000 Sätze) und typischen Korpora für gering-ressourcierte Lautsprachen (ca. 500.000 Sätze).
Aktuelle Forschungsansätze
Um diese Herausforderungen anzugehen, werden in der Forschung verschiedene Ansätze verfolgt:
- Datenerhebung: Dr. De Sisto stellte zwei neue Datensätze vor, die im Rahmen des SignON-Projekts erstellt wurden:
- Multilingual Hotel Review Corpus: Enthält Hotelbewertungen in mehreren Laut- und Gebärdensprachen (NGT, VGT, LSE).
- Gold Standard Parallel Corpus of Signed and Spoken Languages: Ein paralleles Korpus mit authentischer Gebärdensprache und Übersetzungen.
Diese Datensätze sind öffentlich verfügbar und tragen dazu bei, die Datenlücke zu verkleinern.
- Repräsentationsformen: Es werden verschiedene Notationssysteme für Gebärdensprachen erforscht, z.B.:
- HamNoSys (Hamburg Notation System)
- SignWriting
- SEA (Sistema de Escritura Alfabética)
- Segmentierung und Erkennung:
- Extraktion von Keypoints aus Videos zur Erfassung der Bewegungen
- Entwicklung von Modellen zur Vorhersage von Glossen (Wort-Annotationen für Gebärden)
- Multimodale Modelle: Statt Text als Zwischenrepräsentation zu verwenden, wird an Modellen gearbeitet, die direkt mit visuellen Eingaben arbeiten können.
- Interlingua-Ansätze: Zur Überbrückung der Modalitätsunterschiede wird an abstrakten semantischen Zwischenrepräsentationen gearbeitet, z.B.:
- WordNet
- Abstract Meaning Representation (AMR)
- Sign_A + Logical Structure (basierend auf Role and Reference Grammar)
Das SignON-Projekt
Dr. De Sisto gab zudem detaillierte Einblicke in das EU-geförderte Projekt SignON, an dem sie beteiligt ist. Ziel des Projekts ist die Entwicklung eines kostenlosen und quelloffenen Frameworks für die Übersetzung zwischen Gebärden- und Lautsprachen. Einige Kernpunkte:
- Multimodale Ein- und Ausgabe: Die App soll Text, Sprache und Gebärdensprachvideos verarbeiten und ausgeben können.
- Abdeckung mehrerer Sprachen: 4 Lautsprachen (Englisch, Spanisch, Irisch, Niederländisch) und 5 Gebärdensprachen (NGT, VGT, ISL, BSL, LSE) werden unterstützt.
- Ko-Kreation: Gehörlose Experten und potenzielle Nutzer werden in den gesamten Entwicklungsprozess einbezogen.
- Modulare Architektur: Das System umfasst Module für Sprach-/Gebärdenerkennung, Übersetzung und Synthese.

Abbildung 2 zeigt die modulare Architektur des SignON-Übersetzungssystems mit Komponenten für Eingabe (Sprach-/Gebärdenerkennung), Verarbeitung (interlinguale Repräsentation) und Ausgabe (Synthese).
Technische Umsetzung:
- Spracherkennung: Einsatz moderner Systeme wie Whisper für Englisch, wav2vec 2.0 für Spanisch/Niederländisch und Kaldi für Irisch.
- Gebärdenspracherkennung: Extraktion von Keypoints aus Videos, Training von Modellen zur Glossenvorhersage.
- Maschinelle Übersetzung: Basierend auf dem MBart-Modell, erweitert für die Zielsprachen.
- Gebärdensprachsynthese: Generierung von Glossen, Umwandlung in phonetische Beschreibungen (SiGML – SiGML ist eine XML-basierte Notation, die HamNoSys-Beschreibungen in ein maschinenlesbares Format übersetzt.) und Steuerung eines 3D-Avatars mittels Behaviour Markup Language (BML).
Fazit und Ausblick
Die Forschung zur maschinellen Übersetzung von Gebärdensprachen steht noch am Anfang, macht aber kontinuierlich Fortschritte. Das SignON-Projekt zeigt, dass durch interdisziplinäre Zusammenarbeit von Linguisten, Informatikern und der Gehörlosengemeinschaft innovative Lösungsansätze entwickelt werden können.
Die Herausforderungen verdeutlichen, dass für Gebärdensprachen spezifische Methoden entwickelt werden müssen, die ihrer visuell-räumlichen Natur gerecht werden. Gleichzeitig können Erkenntnisse aus diesem Forschungsfeld auch die allgemeine Sprachtechnologie bereichern, etwa im Hinblick auf multimodale Kommunikation.
Für die digitalen Geisteswissenschaften ergeben sich interessante Perspektiven:
- Die Entwicklung von Annotationssystemen und Datenbanken für Gebärdensprachen erfordert neue Ansätze zur Repräsentation komplexer multimodaler Daten.
- Die Analyse von Gebärdensprachkorpora mit computerlinguistischen Methoden kann neue Einblicke in die Struktur und den Gebrauch dieser faszinierenden Sprachen liefern.
- Die Erforschung von Interlingua-Ansätzen könnte zu neuen Erkenntnissen über sprachunabhängige Bedeutungsrepräsentationen führen.
Nicht zuletzt hat die Forschung zu Gebärdensprachtechnologien eine wichtige gesellschaftliche Dimension: Sie kann dazu beitragen, Kommunikationsbarrieren zwischen hörenden, schwerhörenden und gehörlosen Menschen abzubauen und mehr digitale Tools für Gebärdensprache zur Verfügung zu stellen. In einer zunehmend digitalisierten Welt ist es wichtig, dass Sprachtechnologien die Vielfalt menschlicher Kommunikationsformen berücksichtigen.
Wie Dr. De Sisto betonte, sind bisher nur kleine Schritte gemacht worden und es bleibt noch viel zu tun. Doch Projekte wie SignON ebnen den Weg für eine inklusivere digitale Zukunft, in der Gebärdensprachen gleichberechtigt neben Lautsprachen stehen.
Zu den Autoren:
Simon Herding studiert im ersten Semester den Masterstudiengang Informationsverarbeitung an der Universität zu Köln und arbeitet nebenbei als Fachangestellter für Medien- und Informationsdienste bei der Stadtbibliothek Köln.
Nicolas Werner studiert im zweiten Semester den Masterstudiengang Informationsverarbeitung an der Universität zu Köln und ist als Werkstudent bei einem IT-Dienstleister tätig. Er interessiert sich besonders für maschinelle Sprachverarbeitung und deren Anwendung.
(Wir bitten, den unten stehenden automatisch generierten Zitierhinweis von OpenEdition zu ignorieren und die Beitragsautoren bei Bezugnahme korrekt anzugeben.)
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
dhstudi (16. Juli 2024). Gebärdensprachen und maschinelle Übersetzung: Der lange Weg zur digitalen Inklusion. Digital Humanities Cologne. Abgerufen am 16. Juli 2025 von https://doi.org/10.58079/120ya