KI-Sprachmodelle made in Europe: Forschung vernetzen, Transfer stärken

München, 23. Mai 2023

Große Sprachmodelle wie ChatGPT oder PaLM 2 versprechen mächtige KI-Lösungen für Wirtschaft und Gesellschaft. Ihre Ergebnisse sind jedoch nicht immer nachvollziehbar, oftmals fehlerhaft oder mit Vorurteilen behaftet. Expertinnen und Experten der Plattform Lernende Systeme sehen die Forschung in Deutschland in einer guten Ausgangsposition, um die technischen Herausforderungen der KI-Technologie anzugehen, sie im Sinne europäischer Werte zu entwickeln und so ihre Potenziale für Deutschland und Europa auszuschöpfen. Voraussetzung: ein europäisches Ökosystem für die Entwicklung großer Sprachmodelle sowie eine anwendungsnahe Forschung, die den Transfer in die industrielle Praxis erleichtert. Ein aktuelles Whitepaper der Plattform benennt die dringlichsten Forschungsbedarfe und Handlungsoptionen.

Sprachmodelle sind eine Schlüsseltechnologie der Künstlichen Intelligenz (KI). Sie erkennen, produzieren, übersetzen und verarbeiten Sprache und sind Kern vielfältiger Anwendungen. Sie können etwa beim Programmieren oder im Kundenservice unterstützen und Kommunikation sowie Wissensverarbeitung in Unternehmen effizienter gestalten. Obwohl deutsche Forscherinnen und Forscher an vielen Stellen an der Entwicklung großer Sprachmodelle beteiligt sind, dürfe die Forschung und Entwicklung in Deutschland in diesem dynamischen Forschungsfeld, das stark durch außereuropäische Akteure und große Technologieunternehmen geprägt wird, nicht den Anschluss verlieren, heißt es in dem Whitepaper „Große Sprachmodelle – Grundlagen, Potenziale und Herausforderungen für die Forschung“.

„Wenn wir Sprachmodelle für Anwendungen in und aus Europa nutzen wollen, brauchen wir europäische Sprachmodelle, die die hiesigen Sprachen beherrschen, die Bedürfnisse unserer Unternehmen und ethischen Anforderungen unserer Gesellschaft berücksichtigen. Aktuell werden die Sprachmodelle aber von amerikanischen und chinesischen Tech-Riesen erstellt – und kontrolliert“, so Volker Tresp, Professor für Maschinelles Lernen an der Ludwig-Maximilians-Universität München und Leiter der Arbeitsgruppe Technologische Wegbereiter und Data Science der Plattform Lernende Systeme.

Forschungsbedarf: Modelle für verschiedene Industriezweige anpassen

Aktuell gibt es nur wenige einsprachige, sogenannte monolinguale Modelle, die auf ausschließlich deutschen Textdaten beruhen. Auch Modelle, die domänen-spezifische Sprache sensibler Anwendungsbereiche wie Medizin und Justiz berücksichtigen, sind nicht verbreitet. Viele bedeutende, mehrsprachige Modelle wie GPT-4 sind hingegen für die öffentliche Forschung meist nicht offen zugänglich. „Sprachmodelle verfügen über ein enormes wirtschaftliches Potenzial. Für einen Großteil der deutschen Unternehmen ist es aber nicht rentabel, Sprachmodelle für den Einsatz im eigenen Betrieb aufzubauen. Leider existiert derzeit jedoch kein ausreichend leistungsfähiges und kommerziell nutzbares Modell für die deutsche Sprache. Wir benötigen daher offen zugängliche Modelle – insbesondere auch für die deutsche Sprache – sowie Methoden, mit denen sich diese kostengünstig an die spezifischen Anforderungen verschiedener Industriezweige anpassen lassen“, sagt Alexander Löser, Gründer und Sprecher des Forschungszentrums Data Science an der Berliner Hochschule für Technik und Mitglied der Arbeitsgruppe Technologische Wegbereiter und Data Science.

Über das Whitepaper

Das Whitepaper „Große Sprachmodelle – Grundlagen, Potenziale und Herausforderungen für die Forschung“ wurde von Mitgliedern der Arbeitsgruppe Technologische Wegbereiter und Data Science der Plattform Lernende Systeme verfasst. Es ist zum kostenfreien Download verfügbar.