Im Rahmen der Veranstaltung „Colloqium in Digital Cultural Heritage“ sprach Dr. Alin Olteanu vom Käte Hamburger Kolleg der RWTH Aachen über die Beiträge der Semiotik-Forschung zu den Digital Humanities in Bezug auf Medienforschung als auch Modellierung. Die Kernaussage: die Digitalisierung zeigt, dass Bedeutung und Wissen situativ und mithin perspektivisch sind. Gleichzeitig ist gerade die Perspektive als Charakteristik des Wissens nicht die Relativierung von Fakten, sondern ein Zugang zu ihnen. Um dies zu begründen, stellte Alin Olteanu in seinem Vortrag verschiedene Perspektiven auf das Modellieren vor: Zum einen die der traditionell modelfokussierten Semiotik, zum anderen die der Biosemiotik.
Modellierung in den Digital Humanities – was ist das überhaupt?
Modellierung dient dazu, etwas reales darzustellen und zu visualisieren. Sie begegnet immer wieder im Alltag z.B. als Konsument von Infografiken zu einem bestimmten Thema. Sie ist eine Kernpraktiken der Digital Humanities Forschung. Modellierung ist dabei ein kreativer Prozess des Nachdenkens und Begründens, wo die Bedeutung von etwas durch die Kreation und Manipulation von externen Repräsentationen entsteht (vgl. Ciula & Eide 2017). Es geht hierbei also darum, Wissen für einen selbst und andere zu generieren.
Über die Jahre haben sich zahlreiche Theorien zum Modellieren herausgebildet, welche dabei helfen, Modelle und vor allem ihre Entstehung bzw. ihren Entstehungsprozess und ihre Wirkung besser zu verstehen. Im Folgenden ein kurzer Überblick über die (klassische) Semiotik, um sie als Basis für die von Alin Olteanu vorgestellte Biosemiotik zu verstehen.
Modellierung aus Sicht der (klassischen) Semiotik: Modelle als Zeichen
Die Semiotik bzw. Zeichenlehre ist ein wesentlicher Bestandteil verschiedener Wissenschaftsbereiche auch in den Kultur- und Geisteswissenschaften. Semiotik setzt sich dabei mit verschiedenen Zeichen- und Schriftsystemen auseinander, d.h. z.B. Bilder, Wörter oder Gesten. Es geht hierbei darum, zu ergründen, wie Informationen vermittelt werden.

Eine der bedeutendsten Theorien in diesem Kontext ist die Zeichentheorie von Charles Peirce. Demnach ist ein Zeichen ein Produkt einer triadischen Beziehung zwischen dem Repräsentamen (Representament). Beim Interpretant handelt es sich um eine Schlussfolgerung und um das Ergebnis der Interpretation des Zeichens, in diesem Sinne ist das Interpretant also ein eigenes Zeichen. Hiermit soll ausgedrückt werden, dass die Interpretation ein unendlich fortlaufender Prozess.
Neben dieser Beziehung zum Entstehen und Interpretation eines Zeichens umfasst die Semiotik nach Charles Peirce drei verschiedene Typen von Zeichen: das Symbol, das Ikon und das „zeigende“ Zeichen. Das Symbol beinhaltet z.B. Namen, es basiert auf Konventionen. Das Ikon bezeichnet hingegen bildhafte Ähnlichkeit z.B. ein Fahrradzeichen. Das „zeigende“ Zeichen wie etwas das Wort „dort“ beinhaltet direkt Verweise auf etwas. Diese Theorie wurde infolge von Lattman und Kraleman – ebenfalls zwei wichtige Theoretiker innerhalb der Modellierungstheorie – aufgegriffen. Nach ihnen sind Modelle im Peirce‘schen Sinne als Zeichen zu sehen, genauer gesagt als Ikon. Denn auch Modelle stehen durch bildhafte Ähnlichkeit in einer Beziehung zu ihrem darzustellenden Objekt, z.B. bei lebensechten Skizzen, welche die Eigenschaften des Objekts möglichst lebensnah abbilden sollen.
Wie man an diesen Beispielen sieht, gibt es hier einen sehr großen Anteil von Theorien zur modell-zentrierten Semiotik. Für Alin Olteanu besonders ist wichtig ist die neue Perspektive auf diese Theorien, ausgelöst durch den Digital Turn der Geisteswissenschaften. Dazu nun etwas mehr im folgenden Abschnitt über die Modellierung aus Perspektive der Biosemiotik, in welchem wir uns mit dem Begriff der Körperlichkeit und Einflüssen der modernen Kommunikation auseinandersetzen.
Wie die Digitalisierung unsere Wahrnehmung beeinflusst
Soziale Medien, Streaming und das World Wide Web – dass die Digitalisierung unsere Kommunikationsweise und Wahrnehmung zunehmend verändert, steht außer Frage – doch wie genau lässt sich das beschreiben? Eine mögliche Antwort bietet die Biosemiotik auf diese Frage. Biosemiotik als Richtung der Semiotik befasst sich auch mit Zeichensystemen, weist darüber hinaus aber noch zahlreiche Einflüsse aus der Biologie auf, welche sich in diesem Zusammenhang u.a. mit Umwelteinflüssen, Rezeption und dem Begriff der Verkörperung auseinandersetzen.
Innerhalb der traditionellen Kulturwissenschaft wird der Körper als isolierte Entität gesehen, welche fest zu einem bestimmten Individuum gehört; wobei hier bewusst Körper und Geist getrennt voneinander sind – Stichwort Dualismus. Diese Ansicht führte infolgedessen dazu, dass kulturelle Praktiken wie bspw. die Interkorporalität oder die Interdependenz ausgelöscht wurden (vgl. Petrilli, Ponzio 2005). Die Digitalisierung legt allerdings offen, das der Körper bzw. die Verkörperung dennoch eine große Rolle spielt. Zum einen handelt sich bei Digitalen Medien um eine sehr “menschliche” Erfindung (Hopkins 2020). Zum anderen verändert sie unsere Kommunikation massiv. Dafür steht das im Vortrag erwähnte Beispiel der Perspektive des bekannten Medientheorikers Marshall McLuhan, nachdem im derzeitigen elektronischen Zeitalter neue Formen und Strukturen der menschlichen Interdependenz und Ausdrucksformen als ‚mündlich‘ anzusehen seien, auch wenn die eigentliche Situation und ihre Komponenten non-verbal seien. Auch andere Kommunikationsmodalitäten abseits der Sprache gewinnen durch die digitalen Medien an Bedeutung.
Verkörperung und die damit verbundenen Interaktionen mit der Umwelt werden in diesen beiden Ansätzen also sehr unterschiedlich aufgenommen. Während es in der traditionellen Forschung eine klare Trennung zwischen den verschiedenen Aspekten von Körper und Geist als auch z.B. Sprache als System gibt, verschwimmen diese Grenzen in dem hier vorgestellten Ansatz zunehmend. Dies wird besonders deutlich, wenn man sich den Wandel vom Zeitalter des Drucks und des Massenmediums hin zur elektronischen Gesellschaft anschaut. In Bezug auf Übersetzungen bspw. hat die digitale Kultur im Verlauf der letzten Jahrzehnte massiven Einfluss auf die Dialektik zwischen verbalen und non-verbalen semiotischen Ressourcen, welche die Text und Bild koordinieren, bewiesen. Dieser Einfluss betrifft dabei nicht nur die Dialektik, sondern vor allem auch die Interaktion mit und den Konsum von dieser Art von Texten (vgl. Pérez-González 2014).
Ein interessanter Ansatz zur Beschreibung dieses Wandels ist, das Individuum und seine Interaktion von digitalen Medien in den Kontext einer (biologischen) Umgebung zu betrachten. Die digitalen Medien teilen mehr gemeinsame Eigenschaften hinsichtlich ihrer Verfügbarkeit mit der natürlichen menschlichen Umgebung, als mit vorherigen traditionellen Medien wie etwa Print. Dies betrifft bspw. das bereits erwähnte Konsumverhalten: es wird kollektiv „vor Ort“ gemeinsam in der Masse konsumiert, anstatt es per Broadcasting zu erfahren. Um dies präziser zu beschreiben, hat Alin Olteanu in seinem Vortrag zwei Begriffe vorgestellt: Umwelt und Innenwelt, um die es im folgenden Abschnitt gehen wird.
Umwelt, Innenwelt, Embodiment – Die biosemiotische Perspektive auf Modellierung
Die Biosemiotik bietet an, ein Model als semiotisches Produkt mit spezies-spezifischen biologischen Eigenschaften zu seiner Nutzung zu sehen (vgl. Sebeok 2001). Dies führt zu zwei Konzepten namens Umwelt und Innenwelt.
Der Begriff Umwelt ist hier im Sinne des deutschen Wortes gemeint; daher als subjektives „Universum“, wo jeder der Erschaffer seiner eigenen Umwelt ist. Innenwelt hingegen bezeichnet das primäre Modellierungssystem, welches in jedem Tier vorhanden ist und eine Liste an non-verbalen Zeichen enthält (vgl. Sebeok 2001). In diesem Kontext spielen die Begriffe des Bewusstseins und Körperlichkeit eines Individuums eine große Rolle, weshalb im Vortrag der Begriff des „Embodiment“ bzw. die Verkörperung erklärt wurde.
Embodiment bzw. Verkörperung bedeutet hier, dass das Bewusstsein davon abhängig ist, dass man einen Körper mit diversen senso-motorischen Kapazitäten hat, sowie dass diese sensomotorischen Fähigkeiten innerhalb eines biologischen, psychologischen und kulturellen Kontextes eingebettet sind. Das Bewusstsein wird dann semiotisch, wenn die Bedeutung von etwas nach Innen und nach Außen geteilt werden kann – Introspektion wird auch “extrospektiv” (vgl. Brandt 2011). Aus dieser Perspektive ergibt sich für Alin Olteanu die Frage, wie man Modellierung als Körper-Umwelt erklären kann ohne, dafür den Subjekt-Objekt-Dualismus vorauszusetzen bzw. erklären muss. Die Antwort Olteanus: Bewusstsein besteht aus “Embodiment” und “Exbodiment” (nach Mittelberg 2013).
Eine Spur weiter geht Alin Olteanu mit seinem Vorschlag zum semiotischen Körper und Geist. Dieses Konzept zum Begriff des Körpers beinhaltet auch semiotische Ansätze, sodass hier gleich eine ganze Topologie an Körper möglich ist, je nachdem wie ausgefeilt das semiotische Verhalten der Organismus ist. Ein interessantes Beispiel für diese Sichtweise ist dabei beispielsweise die Haut als Zeichen. Physisch gesehen, hält sie die Welt fern, aber ist ebenfalls in einem psychologischen Sinn präsent. Denn durch sie fühlen wir die Welt, sie gibt uns ein Gefühl der Zugehörigkeit und erschafft Persönlichkeit (vgl. Hoffmeyer 2008). Es ist damit für Alin Olteanu auch ein Beispiel für ein Modell für eine Form-Inhalt-Beziehung, welche dazu anregen soll, den Subjekt/Objekt Dualismus zu überdenken.
Der Vorschlag zum semiotischen Körper ist gleichzeitig auch ein Vorschlag, die Trennung von Kultur und Bewusstsein zu überwinden, indem die Modellierung und Bedeutungsfindung “innerhalb” stattfindet und nach außen kommuniziert wird. Daraus ergeben nach Halliday sich wiederum zwei verschiedene Sichtweisen auf die Modellierung, in dem einerseits Sprechen und Verstehen aus der “inter-organism phenomenon” gesehen, hier die Kommunikation also im Kontext der Interaktion zwischen mehreren Organismen gesehen. Andererseits ist aber auch relevant, was in einem Organismus auf der biologischen Ebene passiert aus der Perspektive auf die Komponenten eines Körpers, z.B. die Struktur des Gehirns, die in Sprechen und Verstehen involviert sind (vgl. Halliday 1978). Diese Anschauung aus mehreren Perspektiven hat Auswirkungen auf die Betrachtung von Medienformen an sich, als Beispiel hierfür führte Alin Olteanu in seinem Vortrag die Linguistik auf. So wird in der traditionellen Linguistik wurde Sprache als System definiert, welches als doppelte Artikulation funktioniert, d.h. in welcher eine Nachricht als Artikulation der Form und als Bedeutung angesehen wird. Multimodale Texte hingegen erschaffen Bedeutung in mehreren Artikulationen (vgl. Kress, van Leeuwen 2001).
Um diese komplexe Sichtweise näher auszuführen, stellte Alin Olteanu zwei weitere Begriffe vor: die semiotische Ressource und die semiotische Kompetenz (vgl. Kress, van Leeuwen 2001 und 2005; Kress 2010). Die semiotische Kompetenz ist dabei die Fähigkeit eines Organismus, Ressourcen zur Bedeutungsfindung innerhalb einer vorhandenen Umgebung zu finden und aus diesen ein pragmatisch-funktionales Modell zu erschaffen. Damit ist ein Modell gemeint, welches auf der Umgebung basiert und zur Fähigkeit führt, um sich innerhalb der Umgebung zurecht zu finden. Die semiotische Kompetenz ist dabei eng verwoben mit der semiotischen Ressource. Potenzielle semiotische Ressourcen, mit denen ein Organismus interagiert, z.B. entdeckt oder verwendet, können dazu genutzt werden um das Lernen als Wahlmöglichkeit in seiner Umwelt zu ermöglichen. (vgl. Campbell, Olteanu, Kull 2019). Diese Interaktionen und innere Modellierung können in einem Kreislauf beschrieben werden. Umwelt und die innere Welt erschaffen einen hermeneutischen Zirkel, in dem die Innenwelt ein kognitives Modell seiner Umwelt enthält, sodass der Organismus nicht nur Rezipient ist, sondern auch Erschaffer seiner Umgebung (Nöth 1998). Diese komplexe Sichtweise erweitert auch die Begriffe der Wahrnehmung und des Bewusstseins. Wahrnehmung und Bewusstsein werden als spätere und kompliziertere Phänomene innerhalb der Evolution angesehen, wahrscheinlich um bereits existierende einfache kognitive semiotische Prozesse zu erweitern (Stjernfelt 2014).
Für Alin Olteanu ist der Körper demnach, was zwischen der Innenwelt und Umwelt vermittelt. Dies führt zu zwei Vermittlungsformen. Einerseits können Medien als Vermittlungsform betrachtet werden und sind daher als Erweiterungen des Geistes anzusehen, was zu einer Betrachtung des Modell-Begriffs als Diagramm und analytisch nach der Modelltheorie von Elleström führt. Andererseits sei hier auch die Form der Vermittlung ausgehend vom Organismus an sich erwähnt, hier nach dem Begriff Exbodiment nach Mittelberg. Exbodiment bedeutet, dass der Körper porträtiert, daher „exbodies“ bzw. nach außen verkörpert, wie die Person konzipiert und versteht (vgl. Mittelberg 2013), z.B. durch Gesten. Exbodiment beschreibt daher eine semiotische Struktur, die kommunikative Gesten mit Händen und Armen sowie ausdrucksstarken Körperhaltungen und Ganzkörperbewegungen umfasst (Mittelberg 2013).
Fazit
Zusammenfassend bietet die Semiotik zahlreiche Beiträge zur Modellierungs- und Medienforschung. Die hier vorgestellten Konzepte und Theorien sowohl aus der traditionellen Semiotik, als auch aus der Biosemiotik schaffen den Nährboden für eine erkenntnisreiche Auseinandersetzung mit dem Begriff des Modellierens und aktuellen Medienphänomenen. Angesichts der durch die Digitalisierung immer komplexer werdenden Medienformen und Kommunikation bietet gerade die Biosemiotik zahlreiche Ansätze, um dies angemessen zu beschreiben und zu zeigen, dass Wissen und Bedeutung immer situativ sind. Dies wird z.B. durch den Einbezug von Umgebungen durch die Umwelt und Innenwelt, aber auch durch die Berücksichtigung von biologischen Eigenschaften eines Organismus in Form von Embodiment und Exbodiment aufgezeigt. Alle diese Begriffe und Konzepte unterstreichen, dass Wissen immer situativ und perspektivisch ist und verschiedenen Einflussfaktoren unterliegt. Zum Schluss sei nochmals betont, dass gerade die Perspektive als Charakteristik des Wissens nicht die Relativierung von Fakten hervorruft, sondern einen Zugang zu ihnen schafft.
Wir bedanken uns sehr für den spannenden Vortrag und freuen uns, weiteres von Alin Olteanu zu hören. Für weitere Informationen könnt Ihr dem Käte Hamburger Kolleg auch gerne bei Twitter folgen.
Schlagwörter: Semiotik, Digital Humanities, Digitalisierung, Modellierung, Biosemiotik, Wahrnehmung
Zur Autorin: Nina Eckertz studierte im Bachelor Medienwissenschaften und Medieninformatik an der Universität zu Köln. Aktuell studiert sie Informationsverarbeitung im Master und arbeitet als Werkstudentin im Bereich Softwareentwicklung bei einem IT-Dienstleister.
Quellen, die im Vortrag genannt wurden zur weiteren Lektüre:
Brandt, P. A. 2011. What is cognitive semiotics? A New Paradigm in the Study of Meaning. Signata: Annales des sémiotique/Annals of Semiotics, 2:49-60.
Campbell, C., Olteanu, A., Kalevi, K. 2019. Learning and knowing as semiosis: Extending the cultural apparatus of semiotics. Sign Systems Studies 47(3/4): 325-381.
Ciula, Arianna, Eide, Øvynd. 2017. Modelling in digital humanities: signs in context. Digital Scholarship in the Humanities, 32 (1): i33–i46.
Elleström, Lars. 2018. A medium-centered model of communication. Semiotica 224: 269-293
Hoffmeyer, Jesper. 2008. The Semiotic Body. Biosemiotics 1(2): 169-190.
Hopkins, J. 2020. The concept of Affordances in Digital Media. In: Friese, H., Nolden, M., Rebane, G., Schrieter, M. Eds. Handbuch Soziale Praktiken und Digitale Alltagswelten, pp. 47-54: Wiesbaden: Springer.
Kralemann, Björn, Lattmann, Claas. 2013. Models as icons: modelling models in the semiotic framework of Peirce’s theory of signs. Synthese 190: 3397-3420.
Kress, G., Leeuwen, T. van. 2001. Multimodal Discourse: The Modes and Media of Contemporary Communication. London: Arnold.
Mittelberg, I. (2013). The exbodied mind: cognitive-semiotic principles as motivating force in gesture. In: Müller, C., Cienki, A., Fricke, E., Ladewig, S.H., McNeill, D., Teßendorf, S. Body – Language – Communication: An international handbook on multimodality in human interaction, Volume 1. : De Gruyter Mouton, 755-784.
Nöth, W. (1998). Ecosemiotics. Sign Systems Studies, 29(1), 71–81.
Pérez-González, Luis. 2014. Multimodality in translation and Interpreting Studies: Theoretical and Methodological Perspectives. In: Bermann, Sandra and Porter, Cathering. Eds. A companion to translation studies. Oxford: Wiley Blackwell, pp. 119-131.
Stjernfelt, F. (2014). Natural Propositions: The Actuality of Peirce’s Doctrine of Dicisigns. Docent Press.