Große Sprachmodelle (LLMs) können für reale Anwendungsdaten optimiert werden – ganz ohne aufwendiges Retraining, durch kreative Anpassungen von Eingaben und Prompts. In zwei spannenden Projekten zeigt Prof. Dr. Roman Klinger, wie man die Leistung dieser Modelle gezielt steigern kann. Das erste Projekt – MOPO (Multi-Objective Prompt Optimization) – hilft dabei, emotionale Texte in verschiedenen Stilrichtungen zu erzeugen. Das zweite Projekt verwandelt unstrukturierte Social-Media-Aussagen in klar prüfbare Behauptungen – und das alles mit einer Methode namens Direct Preference Optimization. Beide Ansätze zeigen, dass clevere Strategien zur Eingabegestaltung oft schneller und effizienter sind als klassische Anpassungen der Modelle selbst.
Große Sprachmodelle (Large Language Models, LLMs) haben in den letzten Jahren enorme Fortschritte in der automatisierten Sprachverarbeitung ermöglicht. Trotz ihrer beeindruckenden Fähigkeiten im maschinellen Übersetzen, in der Textgenerierung oder im Fact-Checking stellt sich jedoch immer wieder dieselbe grundlegende Frage: Wie lassen sich diese Modelle optimal an reale Anwendungsdaten anpassen?
Prof. Dr. Roman Klinger leitete über ein Jahrzehnt hinweg eine Arbeitsgruppe am Institut für Maschinelle Sprachverarbeitung der Universität Stuttgart, welche sich dem Themenfeld Information Extraction and Interpretation widmete. Seit 2024 ist er Professor für Grundlagen der Sprachverarbeitung an der Universität Bamberg, seine Webseite ist hier zu finden. In einem Vortrag an der Uni Köln am 22. Mai 2025 präsentierte er Strategien zur effektiven Anpassung von LLMs an Aufgaben mit echten, oftmals unstrukturierten Daten.
Klingers Forschung verbindet Methoden des maschinellen Lernens mit Anwendungen in der Linguistik, Psychologie und Digital Humanities. Ein zentrales Anliegen besteht darin, Sprache in ihrer ganzen Komplexität auch algorithmisch zugänglich und bearbeitbar zu machen.
Im Rahmen des Vortrags wurden drei grundlegende Strategien vorgestellt, mit denen große Sprachmodelle ohne aufwendiges Retraining an reale Anwendungsdaten angepasst werden können:
- Train the model – das Modell fein justieren
- Change the prompt – Eingabeanweisungen anpassen
- Adapt the data – den Input in eine geeignetere Form bringen
Im Folgenden werden zwei seiner aktuellen Projekte vorgestellt, welche diese Ansätze demonstrieren: MOPO – Multi-Objective Prompt Optimization for Affective Text Generation und Self-Adaptive Paraphrasing for Fact-Checking.
Projekt 1: MOPO – Emotionale Textgenerierung durch intelligente Prompt-Optimierung [1]
Emotionen werden in Texten je nach Kontext und Medium unterschiedlich ausgedrückt. Auf Plattformen wie X dominiert häufig eine direkte, explizite Ausdrucksweise – beispielsweise durch die Nutzung von Hashtags wie #anger. In Nachrichtenüberschriften hingegen erfolgt die Kommunikation von Emotionen weitaus subtiler und indirekter. Diese Unterschiede stellen große Sprachmodelle vor Herausforderungen, insbesondere wenn sie domänenübergreifend für verschiedene Aufgaben einsetzbar sein sollen.
Abbildung 1 veranschaulicht diesen Kontrast anhand von generierten Texten, die auf zwei konkurrierende Ziele hin optimiert wurden: Nachrichtenüberschriften und Social Media. In der Einzel-Optimierung erzielen die Prompts hohe Emotion-Fitness-Scores jeweils nur in ihrer Zielkategorie, schneiden in der anderen jedoch deutlich schlechter ab. Das MOPO-Verfahren (Multi-Objective Prompt Optimization) setzt genau hier an: Es optimiert Prompts gleichzeitig für beide Stilrichtungen. Dadurch entstehen vielseitige Textvarianten, die sowohl im Nachrichtenkontext als auch in sozialen Medien überzeugend funktionieren. Nutzerinnen und Nutzer können so entweder gezielt das beste Ergebnis für ein bestimmtes Ziel wählen – oder sich für eine balancierte Option entscheiden, wie etwa „Severe Weather Alert – Stay Prepared“, das in beiden Kategorien einen hohen Score erreicht.

Vor diesem Hintergrund wurde MOPO entwickelt: Eine Methodologie zur gleichzeitigen Optimierung von Prompts für emotionale Ausdrucksweisen in mehreren Kontexten. Ziel ist es, Prompts zu finden, mit denen generative Sprachmodelle emotional konnotierte Texte erzeugen können, die sich stilistisch an den jeweiligen Anwendungsbereich anpassen.
MOPO basiert auf einem evolutionären Optimierungsprozess, bei dem zunächst sogenannte Seed-Prompts – einfache Texteingaben, die Emotionen auslösen sollen – als Ausgangspunkt dienen. Diese Prompts werden dann wiederholt verändert, indem sie paraphrasiert und miteinander kombiniert werden. Anschließend werden die erzeugten Varianten von mehreren Emotionsklassifikatoren bewertet, die speziell für unterschiedliche Domänen wie soziale Medien, journalistische Texte und Erfahrungsberichte trainiert wurden. Die Bewertung erfolgt dabei anhand der Wahrscheinlichkeit, mit der ein generierter Text in der jeweiligen Domäne als emotional passend erkannt wird.
Im Gegensatz zu bisherigen Verfahren, die Prompts nur für ein Ziel optimieren (Single-Objective), liefert MOPO eine Menge an Promptvarianten, die unterschiedliche Gewichtungen der Ziele berücksichtigen. Nutzer*innen können so gezielt jene Formulierung auswählen, die am besten zur gewünschten Domäne passt.
Technisch gesprochen nutzt MOPO ein Auswahlverfahren namens Pareto-Optimierung. Dabei werden die Prompts ausgewählt, die insgesamt besonders gut abschneiden: Ein Prompt wird dann als „gut“ angesehen, wenn kein anderer Prompt in allen Bereichen besser ist, sondern dieser Prompt in mindestens einem Ziel besser, aber in keinem Ziel schlechter ist als andere.
So entstehen ausgewogene Prompts, die sich nicht nur auf ein einziges Ziel spezialisieren, sondern mehrere Anforderungen gleichzeitig gut erfüllen, z. B. bei Social Media und Nachrichtentexten. Durch diese Form der promptbasierten Kontrolle können Anwender*innen Sprachmodelle gezielt zur emotionalen Textgenerierung einsetzen, ohne dabei auf eine bestimmte Ausdrucksform festgelegt zu sein.
Projekt 2: Faktentreue durch Paraphrasierung – Input anpassen statt Modelle verändern [2]
In der automatisierten Faktenprüfung spielt die Qualität des Inputs eine zentrale Rolle. Besonders Inhalte aus sozialen Medien stellen hier eine Herausforderung dar, da sie oft unstrukturiert, ironisch oder emotional aufgeladen formuliert sind. Solche Formulierungen erschweren es sogenannten NLI-Modellen (Natural Language Inference), korrekte Urteile über Wahrheit oder Falschheit einer Aussage zu treffen.
Genau hier setzt das Projekt von Amelie Wührl und Roman Klinger an: Anstatt das Modell selbst zu verändern, wird der Input überarbeitet. Ziel ist es, aus schwer verständlichen oder unstrukturierten Social-Media-Aussagen eine klar strukturierte, prüfbare Behauptung zu machen.
Das in Abbildung 2 dargestellte Verfahren nutzt Direct Preference Optimization (DPO), um generative Sprachmodelle gezielt auf überprüfbare Aussagen hin auszurichten. Ausgangspunkt ist eine umgangssprachliche Behauptung im Social-Media-Stil, die durch ein Sprachmodell (z. B. LLaMA-3) in eine klar formulierte, paraphrasierte Aussage überführt wird. Ein separates Fact-Checking-Modell bewertet daraufhin, wie gut sich diese neue Formulierung auf ihren Wahrheitsgehalt prüfen lässt. Dieses Feedback dient als Grundlage für die Optimierung des Sprachmodells: In einem iterativen Zyklus wird das Modell so angepasst, dass es zunehmend besser überprüfbare Aussagen generiert – ganz ohne manuell gelabelte Trainingsdaten. Stattdessen lernt das Modell ausschließlich aus den Präferenzen des Fact-Checkers, was DPO zu einem besonders effizienten Verfahren für die Verbesserung der Verifizierbarkeit macht.

Dieses Projekt zeigt, dass sich die Leistung von Fact-Checking-Modellen deutlich steigern lässt, wenn der Input entsprechend angepasst wird. Statt neue Modelle aufwändig zu entwickeln, reicht es oft, bestehende Modelle durch gezieltes Prompting effektiver einzusetzen. Das Verfahren ist domänenübergreifend einsetzbar und bietet großes Potenzial für die Bekämpfung von Desinformation in digitalen Räumen.
Vergleich der beiden Projekte
Beide Studien zeigen auf, dass ein Umdenken im Umgang mit Sprachmodellen nötig ist. Statt sich auf klassische Modellanpassung durch Fine-tuning zu konzentrieren, rücken Prompt-Optimization und Prompt-Design in den Fokus. Dabei wird die Black-Box-Natur moderner LLMs nicht als Hindernis, sondern als Ausgangspunkt für kreative algorithmische Strategien genutzt.
Während MOPO wie ein Stilberater für Texte funktioniert, der sie dem jeweiligen Anlass entsprechend kleidet, agiert das Paraphrasierungsprojekt eher wie ein Übersetzer, der unstrukturierte Sprache in prüfbare Aussagen verwandelt. Beide Ansätze verfolgen das Ziel, echte Sprache aus dem Alltag mit den Stärken moderner KI-Modelle sinnvoll in Einklang zu bringen.
Perspektiven und zukünftige Forschung
Beide Projekte – MOPO zur Prompt-Optimierung und die Paraphrasierung für Fact-Checking – zeigen, wie stark die Gestaltung von Input die Leistung großer Sprachmodelle beeinflusst. Künftige Forschung sollte diese Ansätze breiter evaluieren und verallgemeinern.
MOPO bietet Potenzial über emotionale Textgenerierung hinaus, etwa für maschinelles Übersetzen oder Question Answering. Dabei ist zu klären, wie viele und welche Ziele sich sinnvoll kombinieren lassen – auch modell- und sprachübergreifend. Alternativ könnten Strategien wie Reinforcement Learning die Prompt-Auswahl gezielter steuern.
Bei der Paraphrasierung von Social-Media-Beiträgen liegt der Fokus auf der Verbesserung der Generierung. Variationen in der Prompt-Gestaltung und Sampling-Strategien könnten Ausdrucksvielfalt und Verifizierbarkeit weiter erhöhen.
Fazit
Besonders spannend an der Forschung von Prof. Dr. Roman Klinger ist, dass nicht mehr Rechenleistung, sondern mit Bedacht gewählte Eingaben oft der Schlüssel zu besseren Ergebnissen sind – ein Paradigmenwechsel mit großem Potenzial. Durch gezielte Promptgestaltung und inputbasierte Transformationen lassen sich bereits signifikante Verbesserungen erzielen, bei gleichzeitig reduziertem Rechenaufwand und höherer Interpretierbarkeit. Gerade im Kontext wachsender Modellgrößen und begrenzter Zugriffsmöglichkeiten bieten diese Ansätze eine realistische und praxisnahe Perspektive für die Zukunft der Sprachverarbeitung.
Über die Autorin: Sandy Rodrigues erlangte ihren Bachelor in Informationsverarbeitung im Jahr 2024. Aktuell studiert sie im 3. Semester desselben Studiengangs und arbeitet parallel als Werkstudentin bei einem IT-Dienstleister.
Quellen:
[1] Yarik Menchaca Resendiz and Roman Klinger. MOPO: Multi-objective prompt optimization for affective text generation. In Owen Rambow, Leo Wanner, Marianna Apidianaki, Hend Al-Khalifa, Barbara Di Eugenio, and Steven Schockaert, editors, Proceedings of the 31st International Conference on Computational Linguistics, pages 5588–5606, Abu Dhabi, UAE, January 2025. Association for Computational Linguistics.
URL: https://aclanthology.org/2025.coling-main.375/
[2] Amelie Wührl and Roman Klinger. Self-adaptive paraphrasing and preference learning for improved claim verifiability, 2024.
URL: https://arxiv.org/abs/2412.11653
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
dhstudi (11. Juli 2025). Train the model, change the prompt or adapt the data? Digital Humanities Cologne. Abgerufen am 11. Februar 2026 von https://doi.org/10.58079/14c0w