Langzeitarchivierung mit Open Source: Die DA-NRW Software Suite

Im Rahmen des Kolloquiums Digital Humanities – Aktuelle Forschungsprojekte der Universität zu Köln war am 09.07.2020 Jens Peters zu Gast, um über die digitale Langzeitarchivierung mit der DA NRW (Digitales Archiv Nordrhein-Westfalen) Software Suite zu berichten. Beziehungsweise – zu Gast war er eigentlich nicht, sondern sein Vortrag wurde vorab per Video zur Verfügung gestellt, gefolgt von einer virtuellen Fragerunde (#corona). Jens Peters arbeitete als wissenschaftlicher Mitarbeiter am Lehrstuhl Professor Manfred Thaller und ist inzwischen Mitarbeiter des LVR-InfoKom Köln, dem Systemhaus des Landschaftsverbands Rheinland.

Das Digitale Archiv Nordrhein-Westfalen (DA NRW) ist eine Arbeitsgemeinschaft des Landes NRW, vertreten durch das Ministerium für Kultur und Wissenschaft, sowie des Dachverbands kommunaler IT-Dienstleister (KDN). DA NRW bietet den Kultur- und Wissenschaftseinrichtungen des Landes NRW die Möglichkeit, einen mehrfach redundanten, dezentralen Archivspeicher zu nutzen und ein zentrales Erhaltungsmanagement zu betreiben (also das Wesen bzw. den Sinn der archivierten Dateien zu erhalten).

Das DA NRW beinhaltet zwei Lösungsmodule: DNS und DiPS.kommunal, wobei Peters in seinem Vortrag auf das Modul DNS weiter eingeht. Bei DNS handelt es sich nicht um das Domain Name System und auch nicht um die in der Schulzeit mühsam erlernte Desoxyribonukleinsäure, sondern um die DA NRW Software Suite. Diese Software wurde zunächst am Lehrstuhl Manfred Thaller an der Universität zu Köln in den Jahren 2011 – 2014 entwickelt und wird seit 2014 von LVR-InfoKom weiterentwickelt und ist eine frei verfügbare, quelloffene Softwarelösung zur voll automatisierten Langzeitarchivierung digitaler Inhalte. Die beiden Module des DA NRW sind als Services zu verstehen und können von allen Kultur- und Wissenschaftseinrichtungen aus NRW für Archivierungszwecke verwendet werden.

Digitale Langzeitarchivierung und das Wesen einer Datei

Peters definiert die Digitale Langzeitarchivierung (dig. LZA) als die unbegrenzte und dauerhafte Speicherung eines wohldefinierten Zustandes über Technologiebrüche aller Art hinweg. Wie Peters betont, handele es sich bei der dig. LZA nicht um ein Backup, sondern gehe über dieses hinaus. Vielmehr müsse nicht nur der Bitstream der Datei, sondern das Wesen der Datei, also alle Eigenschaften der Datei und seine Semantik bewahrt werden.

Ein Technologiebruch hängt in der Regel mit einer Obsoleszenz zusammen. Diese kann sich auf Formate beziehen (Verschwinden von Formaten) aber auch eine gesamte Hardware oder ein Medium betreffen (Ja, Disketten waren einmal mehr als nur die Form des Speicher-Buttons in bekannten Texteditoren). Ein solcher Technologiebruch kann im Rahmen der dig. LZA durch Konvertierung, Migration oder Emulation überwunden werden. Im DNS Modul von DA NRW wird auf die Methode der dauerhaften Formatwandlung (Konvertierung) gesetzt, weshalb Peters im weiteren Verlauf seines Vortrages auf Herausforderungen im Umgang mit Formaten eingeht.

Herausforderungen im Umgang mit Dateiformaten

Die Herausforderung, die sich durch nicht mehr lesbare Dateiformate ergibt, ist dem Phänomen der Formatobsoleszenz (dem Verschwinden von Dateiformaten) zuzuordnen. Sie führt dazu, dass Dateien nicht zu öffnen sind, weil beispielsweise der passende Player oder die dazugehörige Software nicht vorhanden ist. Dieses Problem entsteht aufgrund der Vielzahl an unterschiedlichen Formaten und einer fehlenden Übersicht über diese. So gibt es auch kein Formatverzeichnis, bei dem ein neues Format verpflichtend angemeldet werden müsste. Das hat auch zur Folge, dass sogar Dateiendungen nicht immer eindeutig einem bestimmten Format zugeordnet werden können.

Neben der Formatvielfalt nehmen die Herausforderungen im Umgang mit Dateiformaten zusätzlich aufgrund von immer wieder neu entwickelten Codecs (werden vor allem im audiovisuellen Bereich zur Kompression verwendet) weiter zu. Zusätzlich erschweren Programmierfehler in der Software für die Formatspeicherung und Informationsverluste bei verlustbehafteter Kompression den Umgang mit Dateiformaten.

Erkennung von Dateiformaten

Für ein dig. LZA System ist es essentiell, das Format der vorliegenden Dateien zu kennen. Um das Problem der nicht eindeutigen Datei-/Formatendungen zu beheben, kann Software zur Formaterkennung wie beispielsweise DROID (Digital Record Object Identification) oder Fido (Format Identification for Digital Objects) zum Einsatz kommen. Diese basieren auf dem PRONOM-Verzeichnis – einer Datenbank der UK National Archives, welche als erstes und (noch) einziges Dateiformatregister gilt. Ziel der Digitalen Archive ist es, den Nutzer im Formatidentifizierungsprozess unter Hinzunahme dieser Hilfsmittel zu unterstützen. Peters ruft abschließend dazu auf, in der täglichen Arbeit sich bewusst für ein Dateiformat zu entscheiden, das im besten Fall eine gute Langzeitperspektive hat.

Das OAIS-Modell

Abb. 1: Das OAIS-Modell (Diagramm 1 Von Poppen – eigenes Werk. Gemeinfrei; Diagramm 2, S. 124)

Ein System für die dig. LZA wird in der Regel nach dem gängigen Referenzmodell der dig. LZA OAIS (Open Archival Information System) aufgebaut und konzipiert. Das OAIS legt Funktionalitäten und Verantwortlichkeiten eines digitalen Langzeitarchivs fest. Die Kernkomponenten des OAIS sind das SIP (Submission Information Package: das Übergabepaket an das Archiv), das AIP (Archival Information Package: angereichert durch Preservation Metadaten) und das DIP (Dissemination Information Package: Rückgabe an den Konsumenten je nach Zugriffsrecht). Peters weist darauf hin, dass häufig die linke Darstellung des OAIS in der untenstehenden Abbildung verwendet wird, obwohl das Modell meist deutlich detaillierter ist (rechte Darstellung).

Das DA NRW

Das Land NRW schreibt in gesetzlichen Regelungen vor, dass Kulturgüter und kulturelles Erbe bewahrt und geschützt werden sollen. Das gilt auch für digitales Kulturgut, dessen Archivierung komplexe Prozesse und organisatorische Strukturen bedarf. Das DA NRW wurde als eine gemeinsame träger-, sparten- und institutionenübergreifende Lösung für Kulturinstitute in NRW gegründet, um die Archivierung und Präservation digitaler Kulturgüter und digitalen kulturellen Erbes zu organisieren. Das Digitale Archiv arbeitet für die technische Umsetzung des Archivsystemes mit dem Land NRW (Amt für Informationsverarbeitung) und dem Zweckverband KDN (Dachverband kommunaler IT-Dienstleister für technische Umsetzung) zusammen. Unter anderem bieten die Rechenzentren des LVR-InfoKom, der Stadt Köln (Amt für Informationsverarbeitung) und des Landesarchivs NRW Infrastruktur für die Archivierungssysteme des DA NRW. Die Aufgaben des DA NRW beschränken sich auf die Archivierung und Präservation von Daten, während fachliche und rechtliche Aufgaben bei den einzelnen Kulturinstituten liegen. Zielgruppe des Archivierungssystemes des DA NRW sind Kultureinrichtungen und -Insitiute in NRW.

Die DA NRW Software Suite

Die DNS bildet das Archivierungs- und Präsentationssystem des Digitalen Archives. Das System besteht hauptsächlich aus drei Bestandteilen:

  1. Arbeitsplatz-Software oder Client SIP-Builder: Der SIP-Builder ist der Weg für Daten in das System (Ingest). Das Tool baut SIPs (Submission Information Packages) zusammen, die beschreiben, welche Daten wie im Archivierungssystem gespeichert werden sollen.
  2. Server-Software Content Broker mit DAWeb Web-Interface: Der Content-Broker nimmt SIPs aus dem SIP-Builder an und verarbeitet die Daten für die Archivierung weiter. AIPs (Archival Information Packages) werden zur Speicherung auf Speicherknoten generiert, außerdem werden Dateiformate und Codecs identifiziert und es können Formatmigrationen durchgeführt werden. Der Content Broker ist modular aufgebaut und lässt sich über ein Web-Interface (DAWeb) steuern.
  3. Präsentation über das Presentation Repository: Im Presentation Repository können für archivierte Daten für die Präsentation benötigte Dateien vorgehalten werden. Das Presentation Repository liefert zum Beispiel Präsentationsdaten für das DA-NRW Portal und weitere Präsentationssysteme wie europeana oder Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH).
Abb. 2: Die Architektur der DA NRW Software Suite (aus der Präsentation von Jens Peters)

Die Architektur des Archivierungssystems ist in verschiedene Knoten aufgeteilt, um die Daten redundant speichern zu können. Ein Knoten (linker roter Kasten) beschreibt den Prozess einer Datenarchivierung: Zunächst geschieht der Ingest der Daten durch Kultur- und Wissenschaftseinrichtungen durch SIPs an den Content Broker. Dieser verarbeitet die Daten in AIPs weiter, welche dann in einem Speicherknoten (z.B. LVR-InfoKom) abgespeichert werden. Der Content Broker übernimmt zudem Aufgaben wie die Formatidentifizierung oder die Formatmigration bestehender Archivdaten. Die Speicherknoten werden untereinander synchronisiert, sodass eine redundante Speicherung der Daten sichergestellt ist.

Für den Präsentationsprozess (rechter roter Kasten) liefert der Content Broker PIPs (Presentation Information Package) an das Presentational Repository. Die Präsentationsdaten werden auf einem Speicherknoten des HBZ abgelegt. Präsentationssysteme wie das DA-NRW Portal oder europeana greifen auf das Presentation Repository zu. Diese Präsentationsebene ist ein besonderes Merkmal für die DNS. Da das System nach dem OAIS-Standard modelliert ist, welches die Präsentationsebene nicht gesondert abbildet, wurde die PIP Spezifikation (Presentation Information Package) entwickelt, ein Datenpaket speziell für die Präsentation von Archivdaten. Dieses Paket kann zum Beispiel Bilddaten in einem für Webanwendungen geeignetem Format (z.B. png) beinhalten, wenn das Format für die Langzeitarchivierung (z.B. tiff) nicht im Web angezeigt werden kann.

Die redundante Speicherung der Archivdaten schützt gegen den Verlust von Daten bei katastrophalen Ereignissen oder Hardware- und Softwarefehlern. Dateiformatmigrationen stellen sicher, dass die Archivdaten auch in Zukunft geöffnet und genutzt werden können. Dabei werden Daten niemals gelöscht, sondern Originale werden beibehalten. Aktivitäten zu einem Datenpaket werden in einer Log-Datei (PREMIS) gespeichert und sind so in Zukunft nachvollziehbar. Die Überprüfung von Hash-Werten sichern die Integrität der Daten und es können persistente Identifikatoren für Datenpakete bereitgestellt werden. Das System ist modular, quelloffen, und kann unter der freien GPL Lizenz genutzt werden.

Ausblick

Jens Peters sprach an, dass durchaus weitere Forschung zur Lösung praktischer Probleme im Feld der digitalen Langzeitarchivierung nötig ist. Zum einen ist eine Formatobsoleszenz schwierig zu bestimmen: Wann ist ein Format so wenig verbreitet und veraltet, dass es als unbrauchbar gilt? Auch die Formatdatenbank PRONOM beinhaltet solch eine Bewertung nicht. Entscheidungen von offiziellen Stellen wären hier sicherlich hilfreich, dazu müssten entsprechende Kriterien entwickelt werden. Außerdem ist der Umgang mit beschädigten oder fehlerhaften Dateien problematisch. Ein analoges Archiv würde ein beschädigtes Artefakt nicht zurückweisen und in seiner Form verwahren, während beschädigte digitale Dateien einerseits komplett unbrauchbar sein können, es aber auch Möglichkeiten der Wiederherstellung oder Reparatur gibt. Dazu wurde in der DNS das Konzept von Qualitätsstufen entworfen und implementiert.

Lösungen für Praktische Probleme aus den Digital Humanities

Der Vortrag zur DA NRW Software Suite bot einen Blick hinter die Kulissen eines erfolgreichen Projektes welches aus dem Kontext der Digital Humanities an der Uni Köln entstanden ist. Das Projekt zeigt das breite Spektrum der digitalen Geisteswissenschaften, denn Fragestellungen in der Forschung in den Digital Humanities können auch Problemlösungen für ganz praktische Probleme umfassen, wie eine technische Umsetzung einer digitalen Langzeitarchivierung für Kulturinstitute in NRW.

Zu den AutorInnen:

Katja Bertholdt hat Computerlinguistik im Bachelor an der Ludwig-Maximilians-Universität München studiert. Aktuell studiert sie Informationsverarbeitung im Master an der Universität zu Köln.

Lukas Mönch hat an der Universität zu Köln im Bachelor Medieninformatik und Medienkulturwissenschaften studiert. Aktuell studiert er in Köln Informationsverarbeitung im Master.


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.