Große Sprachmodelle – Grundlagen, Potenziale und Herausforderungen für die Forschung (Whitepaper)

Sie schreiben Hausarbeiten, Gedichte oder Programmiercodes – große Sprachmodelle wie ChatGPT, BARD oder BLOOM verändern mit einer rasanten Entwicklung, wie wir arbeiten und kommunizieren und wie wir mit Information und Wissen umgehen. Sie beruhen auf einer effektiven Kombination aus großen Datenmengen, umfangreicher Rechenleistung und Algorithmen, die effizient und skalierbar einsetzbar sind. Die zugrundeliegende KI-Technologie ist nicht nur auf Sprachverarbeitung beschränkt. Große Sprachmodelle bieten daher enormes Potenzial für alle Lebensbereiche und stoßen einen grundlegenden und dauerhaften Wandel nicht nur in vielen Branchen an, sondern auch in Forschung und Entwicklung. Das Whitepaper gibt einen Überblick zum Thema Sprachmodelle und legt dar, auf welchen Grundlagen Sprachmodelle beruhen und vor allem, was ihre besonderen Eigenschaften sind. Neben ihrer Funktionsweise wird dabei auch deren zunehmende Bedeutung aufgrund der rasanten disruptiven Entwicklung herausgestellt. Für Forschung und Entwicklung ergibt sich damit ein dynamisches Handlungsfeld mit vielen Potenzialen, aber zugleich auch Herausforderungen, anhand derer weitere Forschungsfelder und -bedarfe identifiziert werden.