Mit dem Tanker zum Einkaufen? Sprachmodelle und ihr Zweck

Nürnberg, 22. Juli 2025

KI-basierte Textgeneratoren, sogenannte Sprachmodelle, durchdringen längst unseren Alltag und die Wirtschaft. Manche Modelle laufen lokal auf den Endgeräten, andere in der Cloud. Welche eignen sich für welche Zwecke, was leisten sie und was nicht? Das diskutierten Fachleute und Teilnehmende im gemeinsamen Forschungsdialog von acatech und Fraunhofer-Gesellschaft am 15. Juli 2025 im Nürnberger Offenen Innovationslabor JOSEPHS.

Welches Sprachmodell für welche Anwendung?

Auch Sprachmodelle differenzieren sich nach ihren Anwendungsgebieten – oder wer würde mit einem Tanker seinen Wocheneinkauf erledigen oder den Umzug mit einem Fahrrad organisieren? Mit dieser Analogie zum Mobilitätsverhalten eröffnete Jan Plogsties (Abteilungsleiter Generative AI am Fraunhofer IIS) seinen Impulsvortrag. Aus dem Alltag sei uns allen bekannt, dass der Zweck die eingesetzten Mittel definiert und diese möglichst gut aufeinander abgestimmt sein sollten. Nicht anders verhält es sich bei Sprachmodellen, also KI-Systemen.

Große Modelle mit mehreren hundert Milliarden Parametern laufen meist in einer Cloud und können gleichzeitig Gedichte schreiben, Bilder generieren und Programmcode erzeugen. Doch nicht immer ist das in diesem Umfang sinnvoll, da diese eine enorme Rechenleistung erfordern und dafür viel Energie und eine längere Antwortzeit benötigen. Kleinere Sprachmodelle werden hingegen auf spezielle Aufgaben trainiert. Diese lassen sich in eingebetteten Systemen einsetzen – etwa in medizinischen Geräten oder Maschinensteuerungen. Der lokale Betrieb ermöglicht den Umgang mit sensiblen Daten und ist gleichzeitig für Schnelligkeit und Effizienz optimiert. Anhand eines Fraunhofer-Projekts zur KI-unterstützten Stimmisolation zeigte Jan Plogsties, wie sich das Publikum diese spezifischen Anwendungsfelder kleinerer Sprachmodelle vorstellen kann.

Im Gespräch mit der Moderatorin Christina Merkel vertiefte Jan Plogsties die Rahmenbedingungen seiner Forschung. Die Ausgangslage der Forschungslandschaft sei sehr gut, zahlreiche kluge Köpfe publizieren viel und halten einige Patente, allerdings bestehe der europäische Wettbewerbsnachteil in einer mangelnden Infrastruktur und Hardware-Abhängigkeiten. Hier könnten aktuelle Initiativen wie die AI-Giga-Factories einen Beitrag zu mehr Souveränität leisten.

Von ELIZA zum assistierten Kundenservice

Mit Joseph Weizenbaums ELIZA startete 1966 der erste Sprachassistent, der noch auf Stichworte reagierte. Heute werden die aktuellen Modelle verstärkt in Unternehmen eingesetzt. Thomas Geiger (Projektmanager bei DATEV eG.) gab einen Einblick in die Entwicklung und den Einsatz eines Sprachassistenten im Kundenservice. Lange Warteschleifen, wiederkehrende Fragen und Dokumentationsanforderungen gaben bereits 2020 bei DATEV den Anstoß für die Entwicklung eines eigenen Sprachassistenten. Im Zusammenspiel mit den Service-Mitarbeitenden sollten diese entlastet werden, um mehr Zeit für komplexere Anfragen zu haben.

Teamarbeit von Mensch und Maschine

Mit Abfrage von Kundenauthentifizierung und der konkreten Problemstellung eröffnet der Sprachassistent das Gespräch. Einfache Anfragen, wie „Ich habe mein Passwort vergessen, was kann ich tun?“ oder „Wie kann ich eine bestimmte Information im System abfragen?“, können direkt beantwortet werden: Hier ist sich das System in der Antwort sehr sicher. Stellt sich die Anfrage allerdings als herausfordernder dar, bereitet die Sprachassistenz die Anfrage auf und die Service-Mitarbeitenden steigen direkt in die Problemlösung ein. Fragen, die nicht direkt beantwortet werden können oder sich als falsch beantwortet herausstellen, werden fortlaufend in die Trainingsdatenbank eingepflegt, sodass das System ständig optimiert und verbessert wird. „Eine entscheidende Voraussetzung für die Entwicklung eines Sprachassistenten, der valide Antworten gibt, ist die Verwendung einer bei DATEV gehosteten eigenen Wissensbasis. Und selbstverständlich haben wir unsere sehr hohen Datenschutz- und Security-Anforderungen auch beim Sprachassistenten umgesetzt!“, sagte Thomas Geiger.

Qualitätssicherung bei Sprachassistenten im Kundenservice

Im Gespräch mit Christina Merkel vertieften die beiden Panellisten ihr Vorgehen zur Qualitätssicherung. So beschrieb Thomas Geiger im Detail, wie mit Abbrüchen umgegangen wird: Transkripte werden ausgewertet, Rückmeldungen der Kunden und Service-Mitarbeitenden eingeholt und in der Weiterentwicklung berücksichtigt. Auch in Forschungsprojekten sei die Qualitätssicherung entscheidend. So beschrieb Jan Plogsties deren Vorgehen als Kombination aus objektiven Maßnahmen wie Benchmark-Tests (Prüfung der Fähigkeiten) und subjektiven Einschätzungen (Antwortqualität von Menschen).

Nach reger Diskussion mit den Sitznachbarn in Murmelgruppen interessierte sich das Publikum unter anderem dafür, wie sich halluzinierende Antworten vermeiden lassen. Die Fachleute waren sich darin einig, dass umfangreichere Trainingsdaten die Antworten verbessern. Bei begrenzten Trainingsdaten und Spezialanwendungen werde mit Mechaniken gearbeitet, die bei bestimmten Fragen einen Abbruch erzeugen und im Antwortumfang eingeschränkt sind.