Viele Aktivitäten der menschlichen Kultur hinterlassen keine Spuren, andere landen in Archiven in Form von Daten. Diese Archivdaten durchlaufen zwangsweise Selektion und Strukturierung, was beeinflusst, welche Informationen wir über die Vergangenheit erhalten und wie wir sie wahrnehmen. Dieser Prozess wiederholt sich heutzutage, während Archive digitalisiert werden. Dabei kann ein Teil der Daten verloren gehen. Gleichzeitig ermöglicht die Restrukturierung und Neusystematisierung, neue Erkenntnisse aus den Materialien zu gewinnen.
Die Kulturhistorikerin Dr. Mila Oiva von der Universität Turku beschäftigt sich mit der Frage, was und wie man aus den mehrschichtigen Archivdaten lernen kann. Im Rahmen des Projekts „DIGHT-Net“ (Link: https://dight-net.tlu.ee/), einer Kooperation der Universitäten Tallinn, Turku, Amsterdam und Bologna, arbeitet sie gemeinsam mit mehreren Kolleg:innen daran, Wissen aus den komplexen Daten des digitalen Kulturerbes (Digital Cultural Heritage) zu gewinnen. In ihrer interdisziplinären Forschung analysieren sie Texte, audiovisuelle Inhalte und Metadaten mithilfe computergestützter Methoden zur Text-, Bild- und Netzwerkanalyse. In neuester Forschung werden audiovisuelle Daten analysiert, und zwar sowjetische und estnische Newsreels (Wochenschauen) des 20. Jahrhunderts. Das Forschungsinteresse liegt auf audiovisuellen Materialien als Cultural Heritage. In Vortrag am 27 November 2024 an der Universität zu Köln rückte Milo Oiva in den Fokus, wie sich die Phänomene mit modernen computergestützten Technologien aus mehrschichtigen audiovisuellen Daten wie Newsreels erschließen lassen.
Newsreels als Cultural Heritage
Zu Beginn des 20. Jahrhunderts konnten Menschen statt Werbung im Kino vor dem Film sogenannte Newsreels anschauen. Die kurzen, etwa zehnminütigen Videos mit ausgewählten und sorgfältig vorbereiteten Nachrichten wurden auch wöchentlich im Fernsehen gezeigt. Diese Tradition blieb in vielen westlichen Ländern von den 1910er bis 1960er Jahren bestehen, bis das Fernsehen dort massiv Verbreitung fand. In der Sowjetunion und manchen Ostblockländern hielten sich die Newsreels bis zum Zerfall der UdSSR in den 1990er Jahren. Newsreels überlebten in den kommunistischen Ländern nicht nur wegen des Mangels an kommerzieller Werbung, sondern auch, weil sie ein wichtiger Teil der sowjetischen Propaganda waren.
Um den Umfang der Analyse von Mila Oiva zu verdeutlichen, hier einige Informationen zum verwendeten Datensatz: Die Materialien in russischer Sprache bestehen aus etwa 10.000 Newsreel-Videos aus 70 Nachrichtensendungen, darunter das Hauptsendung Nowosti Dnia (Nachrichten des Tages). Die Sammlung umfasst den Zeitraum von 1930 bis 1990. Urheberrechtsfragen für Data-Scraping konnten zu Beginn des Jahres 2022 geregelt werden. Die Daten in estnischer Sprache bestehen aus 2.000 Newsreels aus den Jahren 1920 bis 1990. Die Urheberrechte gehörten diversen staatlichen Institutionen Estlands, was dazu führte, dass die Verhandlungen fast die Hälfte der Projektlaufzeit in Anspruch nahmen.
Analyse multimodaler Materialien
Audiovisuelle Materialien wie Newsreels sind mehrschichtig und multimodal. Sie enthalten eine große Menge kontextabhängiger Informationen, verteilt u.a. auf Bilderwechsel, verschiedene Redner:innen, musikalische Untermalungen. Die Wahrnehmung dieser Informationen wird auch von zeitlicher Dynamik beeinflusst. Die Produktion dieser Materialien ist an bestimmte Ereignisse und Symbole der Vergangenheit gebunden, deren Zeitgeist in unserem Kontext nicht direkt interpretiert werden kann. Insofern bezieht sich die zeitliche Dynamik auch auf die Produzenten und andere Metadaten.
Um die Bedeutung komplexer multimodaler Materialien wie Newsreels zu verstehen, wird ein systematisierter Ansatz verfolgt. Ein Beispiel dafür ist das „Framework for the Analysis of Historical Newsreels“ (M. Oiva et al. 2024). In der Studie werden die zeitlichen Dynamiken, die Multimodalität und die Vielschichtigkeit der audiovisuellen Materialien mit einer abc-Framework-Pipeline analysiert. Wie der Name bereits andeutet, besteht das Framework aus drei Hauptschritten. Am Anfang sollen die Erkennung und Zuordnung bedeutungstragender Einheiten und Variablen stattfinden: Welche Variablen prägen das untersuchte Phänomen und sind in den Daten nachvollziehbar, so dass sie im Fokus stehen sollten? Daraufhin erfolgt die Analyse zeitlicher Ebenen digitalisierter Kulturdaten: Wer hat die Daten und Metadaten wann, wie und zu welchem Zweck erstellt? Wessen Spuren sind darin erkennbar?
Diese Fragen sind besonders im Kontext von Newsreels relevant. Eine weitere Studie (Oiva, Ohm, Mukhina, Solà & Schich, 2024) zeigt, wie Newsreels-bezogene Metadaten die politischen Wenden in der Sowjetunion widerspiegeln. Die Ausgaben-Nummern von 1945 bis 1953 deuten darauf hin, dass mehr Newsreels produziert wurden, als heute im Archiv vorhanden sind. Dieses Fehlen ist vermutlich auf die Beschlagnahmung von Materialien mit Darstellungen von Stalin nach seinem Tod im März 1953 zurückzuführen. Während der Stalinzeit, die von den späten 1920er Jahren bis 1953 dauerte, zeigten Newsreels häufig Stalins Porträts sowie propagandistische Slogans zu seinen Ehren. Nach seinem Tod und dem Machtantritt Chruschtschows wurden offenbar viele dieser Filme im Zuge der Entstalinisierung (ein politischer Prozess in der Sowjetunion zur Bekämpfung des Stalinkults) überarbeitet oder aus den Archiven entfernt. Als letzten Schritt des Frameworks kommt die Zusammenführung der Ergebnisse: Die Ergebnisse quantitativer Analysen verschiedener Ebenen werden zusammengeführt und in visuell interpretierbarer Form dargestellt. Beispiele hierfür werden in Abbildung 1 und 2 gezeigt, die die Daten aus der Studie Oiva, Mila et al. (2024) darstellt.

Autorschaft, Namen und Ethik
Um die Produktion und den Inhalt audiovisueller Materialien zu verstehen, müssen alle Beteiligten berücksichtigt werden. In der Filmindustrie blieb die Rolle von Frauen oft unbeachtet, dabei handelte es sich bei einem Großteil der Newsreel-Regisseur:innen in der Sowjetunion um Frauen. Die Bestimmung von Autorschaft kann mithin zu wichtigen Erkenntnissen führen. Dennoch wirft das Nennen von Namen im Kontext von Newsreels ethische andere Fragen auf. Da die Produktion propagandistischen Zwecken in einem nicht mehr existierenden totalitären Regime diente, könnte die Namensveröffentlichung den Identitätsschutz gefährden. In Estland und Russland, zwei Ländern, die früher Teil der Sowjetunion waren und diese Vergangenheit unterschiedlich erleben, könnten die Autor:innen als „Sowjetische Propagandisten“ oder „Estnische Nationalisten“ negativ markiert werden, was unangenehme Folgen für die Familien der Beteiligten nach sich ziehen könnte.
KI, LLMs in der historischen Analyse
KI und LLMs (Large Language Modells) sind mächtige Werkzeuge, die jedoch auch Herausforderungen mit sich bringen. Ein Beispiel ist das ResNet50-Modell (Ein Convolutional Neural Network; Link: https://huggingface.co/microsoft/resnet-50), das auf der Grundlage von ImageNet-Daten und Online-Bildern trainiert wurde. Ein weiteres Modell, CLIP (Contrastive Language-Image Pretraining) (Link: https://github.com/openai/CLIP), weist zwar ein hohes Potenzial für groß angelegte Analysen auf, doch die genauen Trainingsdaten sind unbekannt, was das Risiko groß angelegter Fehler birgt. Ein Anwendungsbeispiel könnte folgender Vorgang sein: Zuerst wird eine Proto-Annotation mit maschinellem Lernen durchgeführt, anschließend eine manuelle Überprüfung dieser vorgenommen. Um beispielsweise den Diskurs in sowjetischen Newsreels im Zeitverlauf zu analysieren, werden Bilder in mehrdimensionale Vektoren umgewandelt, wobei ResNet50 zum Einsatz kommt. Diese Vektoren werden anschließend mithilfe von 2D-Projektionen visualisiert. Dabei erkennt die KI die Motive in den Videos, z.B. Menschenmengen, Bilder vom Kremlin, Politiker:innen am Tisch oder sowjetische Parteiführende in Bewegung. Am Ende erhält man einen Datensatz, der nach zeitlichen und visuellen Motiven sortiert werden kann.

Tool: https://collection-space-navigator.github.io/
Quantifying Leninism
Ein weiteres Anwendungsbeispiel bezieht sich auf das Bestimmen eines konkreten Phänomens — Leninismus, eine wichtige “Säule” der sowjetischen Ideologie, die während der Lebenszeit der UdSSR mehrfach adaptiert und verändert wurde. Computergestützte Methoden eignen sich gut zur Erkennung von Objekten – aber wie sieht es mit Phänomenen aus, die selbst für Menschen schwer genau zu bestimmen sind? Leninismus ist ein kulturell-politisches Phänomen, dessen Grenzen auch für Menschen schwer zu erkennen sind. Wie könnte man es mit Unterstützung von LLMs begreifen? Ziel ist es, die Fähigkeiten vortrainierter LLMs zu testen. Diese Sprachmodelle können mittlerweile universelle Konzepte wie “Liebe” und “Familie” in Bildern erkennen (Smits und Wevers, 2023), sind fähig, abstrakte Konzepte in der Kunst nachzuverfolgen (Impett und Offert, 2022) und visuelle Motive wie die Pietà zu identifizieren (Phillips et al., 2024). Dies legt nahe, dass es möglich sein könnte, Leninismus in Nowosti dnia zu bestimmen.
Ein erster Ansatz besteht darin, Lenin als lebende Person und Lenin in der Kunst (inkl. z. B. die Lenin-Mumie) zu identifizieren. Diese Aufgabe wurde mithilfe von CLIP, Llava1.5 und GPT-4 Vision in einer automatischen Annotation durchgeführt und mit menschlichen Annotationen verglichen, wobei eine hohe Präzision erreicht wurde. Obwohl die Methode gut funktioniert hat, ist Lenin eine bekannte historische Persönlichkeit, die auch in zeitgenössischen Trainingsdaten häufig in anderen Kontexten vorkommt. Dadurch entstehen neue Herausforderungen für wissenschaftliche Arbeiten.

Ausblick
Audiovisuelle Materialien, zu denen auch die im Vortrag vorgestellten sowjetischen Newsreels zählen, bieten einzigartige Einblicke in historische Ereignisse und kulturelle Entwicklungen. Wie andere Digital-Cultural-Heritage-Daten entstehen sie durch Sammel-, Organisations- und Erhaltungsaktivitäten, die die Struktur und den Inhalt der Daten beeinflussen. Dabei ist es wichtig, die zeitlichen Ebenen und den Kontext der Daten zu berücksichtigen. Es ist sowohl für die Analyse als auch aus ethischer Hinsicht bedeutsam, da sie persönliche Daten wie Namen enthalten können. Mit den gezeigten Methoden und dem Einsatz von KI lassen sich komplexe Zusammenhänge sichtbar machen. Dennoch bleibt offen, wie zeitgenössische Verzerrungen, Propaganda und die Multimodalität der Materialien mithilfe maschineller Lernmodelle besser bewältigt werden können. Zweifellos sind maschinelle Methoden bei der Klassifikation großer Datenmengen erfolgreich, doch die Interpretation, Darstellung und Quantifizierung der Daten für die maschinelle Analyse selbst bleiben weiterhin den Forschenden überlassen.
Quellen:
- Oiva, M., Mukhina, K., Zemaityte, V. et al. A framework for the analysis of historical newsreels. Humanit Soc Sci Commun 11, 530 (2024). https://doi.org/10.1057/s41599-024-02886-w
- Oiva, Mila, et al. “Soviet View of the World. Exploring Long-Term Visual Patterns in ‘Novosti Dnia’ Newsreel Journal (1945-1992).” Journal of Cultural Analytics, vol. 9, no. 4, July 2024, https://doi.org/10.22148/001c.118495.
- Smits, Thomas, and Melvin Wevers. ”A multimodal turn in Digital Humanities. Using contrastive machine learning models to explore, enrich, and analyze digital visual historical collections”. Digital Scholarship in the Humanities 38, no 3 (September 1, 2023): 1267–80. https://doi.org/10.1093/llc/fqad008
- Impett, Leonardo, and Fabian Offert. ”There Is a Digital Art History”. Visual Resources 38, no 2 (April 3, 2022): 186–209. https://doi.org/10.1080/01973762.2024.2362466
- Phillips, Adam, Daniel Grandes Rodriguez, Miriam Sánchez-Manzano, Alan Salvadó, Manuel Garin, Gloria Haro, and Coloma Ballester. ”Visual Motif Identification: Elaboration of a Curated Comparative Dataset and Classification Methods”. arXiv, October 21, 2024. https://doi.org/10.48550/arXiv.2410.15866
Zum Autor: Aleksandr Koloskov, Masterstudent Informationsverarbeitung an der Universität zu Köln.
(Wir bitten, den unten stehenden automatisch generierten Zitierhinweis von OpenEdition zu ignorieren und die Beitragsautorinnen bei Bezugnahme korrekt anzugeben.)
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
dhstudi (19. Dezember 2024). Quantifying Leninism: Interpretation audiovisueller Daten aus sowjetischen Newsreels. Digital Humanities Cologne. Abgerufen am 11. Februar 2026 von https://doi.org/10.58079/12ys2