KI-Regulierung: Wie sich vertrauenswürdige Systeme gestalten lassen

München, 23. November 2021

Künstliche Intelligenz (KI) verbessert Prozesse und ermöglicht neue Geschäftsmodelle, birgt aber auch Risiken. Damit sichere Anwendungen zum Einsatz kommen, will die Europäische Kommission KI-Systeme entsprechend ihrer Risiken regulieren. Expertinnen und Experten der Plattform Lernende Systeme halten diesen Ansatz für notwendig, aber nicht ausreichend, um vertrauenswürdige KI-Systeme zu schaffen. Sie fordern, den konkreten Anwendungskontext eines Systems zu berücksichtigen sowie Beschwerdestellen und klare Haftungsregeln. In einem aktuellen Whitepaper benennen sie zusätzliche Kriterien, um das Gefahrenpotenzial eines KI-Systems beurteilen zu können und zeigen, wie die Verantwortung für Schäden zwischen Akteuren aufgeteilt werden sollte.

KI-Systeme können die medizinische Behandlung verbessern, zu einer nachhaltigeren Mobilität beitragen und Beschäftigte am Arbeitsplatz entlasten. Ihr Einsatz kann aber auch mit ethischen und sicherheitstechnischen Risiken verbunden sein, etwa wenn die Empfehlung einer Assistenz-Software zu diskriminierenden Personalentscheidungen führt oder ein autonomes Fahrzeug einen Unfall verursacht. Ziel des aktuellen Regulierungsvorschlags der Europäischen Kommission ist es daher, den Einsatz von KI-Systemen sicher und vertrauenswürdig zu machen, ohne Innovationen zu hemmen. Die EU hat dazu KI-Anwendungen nach ihrem Gefahrenpotenzial (der sogenannten Kritikalität) klassifiziert. So gehen etwa von Systemen zur intelligenten Wartung von Industriemaschinen keinerlei Gefahren aus. Sie entsprechen der niedrigsten von vier Risikostufen und bedürfen laut EU-Vorschlag keiner Regulierung. Andere denkbare KI-Anwendungen bergen indessen Risiken und müssen reguliert werden – bis hin zum Verbot, falls ihre Risiken als unannehmbar eingestuft werden, etwa Social Scoring durch staatliche Stellen.

Im Whitepaper „Kritikalität von KI-Systemen in ihren jeweiligen Anwendungskontexten“ analysieren Expertinnen und Experten der Plattform Lernende Systeme den Vorschlag zur KI-Regulierung, den die Europäische Kommission im April 2021 vorlegte und der nun im Europäischen Parlament und Ministerrat diskutiert wird. Sie konkretisieren die Kriterien, anhand derer sich die Risiken von KI-Systemen beurteilen lassen und betonen, dass KI-Systeme immer als Einzelfall und vor dem Hintergrund ihres jeweiligen Anwendungskontextes bewertet werden müssen. „Das gleiche System kann in einem Zusammenhang unproblematisch und in einem anderen höchst kritisch sein. KI für die Detektion von Hate Speech dürfte zum Beispiel zunächst als vergleichsweise unbedenklich gelten. Wenn die gleiche Anwendung aber von einem totalitären Staat genutzt wird, um kritische Stellungnahmen ausfindig zu machen und zu eliminieren, dann fällt die Bewertung gegenteilig aus“, so Jessica Heesen, Medienethikerin der Eberhard Karls Universität Tübingen und Co-Leiterin der Arbeitsgruppe „IT-Sicherheit, Privacy, Recht und Ethik“ der Plattform Lernende Systeme.

Wie kritisch ein System zu bewerten ist und wie stark es reguliert werden sollte, will die EU-Kommission im Vorhinein durch bestimmte Kriterien festlegen. Das Whitepaper empfiehlt, folgende Fragen stärker in den Blick zu nehmen: ob die Empfehlungen oder Entscheidungen eines KI-Systems Menschenleben oder Rechtsgüter wie die Umwelt gefährden und wieviel Handlungsspielraum dem Menschen bei der Auswahl und Nutzung der Anwendung bleibt, etwa um bestimmte Funktionen abzuschalten. Nach Ansicht der Autorinnen und Autoren müssen die Kontroll- und Entscheidungsmöglichkeiten der Nutzer von KI-Systemen bei der Bewertung der Kritikalität stärker berücksichtigt werden. So ist es etwa ein Unterschied, ob eine KI-Software für den Aktienhandel Verkäufe automatisiert durchführt oder dem Aktienbesitzer lediglich Empfehlungen dafür gibt.

Ihr Fazit: Der Ansatz der Europäischen Kommission, KI-Systeme entsprechend ihres Gefahrenpotenzials zu regulieren, ist ein notwendiger Schritt auf dem Weg zu vertrauenswürdigen KI-Systemen. Insbesondere für Anwendungen mit höheren Autonomiegraden ist er jedoch nicht ausreichend. Es bestehe die Gefahr, dass die Risikoeinstufung eine Sicherheit vorgaukele, die ohne flankierende nicht-technische Maßnahmen nicht gewährleistet werden könne, so Peter Dabrock, Ethikprofessor an der Friedrich-Alexander-Universität Erlangen-Nürnberg und Mitglied der Plattform Lernende Systeme.

Beschwerdemöglichkeiten und Haftungsregeln

Generell lassen sich die Risiken von KI-Systemen nur bedingt vorhersehen. Anders als bei der Risikoeinschätzung von konventioneller Software lernen KI-Systeme selbstständig während ihres Einsatzes dazu und verändern sich laufend. Die Autorinnen und Autoren fordern, die Regulierung anhand des Risikopotenzials, um weitere Mechanismen zu ergänzen, die während und nach der Anwendung des KI-Systems greifen. Sie schlagen ein Verbraucherschutzregime vor, das Nutzerinnen und Nutzern niedrigschwellige und zeitnahe Beschwerdemöglichkeiten bietet, etwa bei Diskriminierung durch ein KI-System. Zudem müsse die Verantwortung für die Risiken von KI-Systemen klar über Haftungsregeln aufgeteilt werden. So sollte im B2B-Bereich grundsätzlich der Anwender entsprechend dem Vertragsrecht verantwortlich für die von KI-Systemen gelieferten Ergebnisse sein. Für Anwendungen im öffentlichen Bereich sollte die öffentliche Hand die volle Verantwortung für diskriminierende oder schädliche Konsequenzen im Rahmen des öffentlichen Rechts tragen.

Über das Whitepaper

Das Whitepaper „Kritikalität von KI-Systemen in ihren jeweiligen Anwendungskontexten. Ein notwendiger, aber nicht hinreichender Baustein für Vertrauenswürdigkeit“ wurde von Expertinnen und Experten der Arbeitsgruppe „IT-Sicherheit, Privacy, Recht und Ethik“ sowie der Arbeitsgruppe „Technologische Wegbereiter und Data Science“ der Plattform Lernende Systeme verfasst. Es steht zum kostenfreien Download zur Verfügung.