• Themen
    • Corona-Krise
    • Arbeit & Bildung
    • Biotechnologie
    • Circular Economy
    • Digital & Selbstlernend
    • Energie & Ressourcen
    • Gesundheitstechnologien
    • Innovation
    • Mobilität
    • Sicherheit
    • Technik & Gesellschaft
    • Themennetzwerke
  • Projekte
  • Publikationen
  • Dialog
    • Zukunftsrat des Bundeskanzlers
    • Europäische Politikberatung
    • Internationales
    • Parlamentarische Veranstaltungen
    • Öffentliche Dialogveranstaltungen
    • acatech HORIZONTE
    • #FutureWorkDebatte
  • Termine
  • Aktuelles
    • Meldungen
    • Mediathek
    • Frag acatech
    • Abonnements
    • Wie wir kommunizieren – Leitlinien und Initiativen
  • Über uns
    • Wofür wir stehen
      • Leitbild
      • Leitlinien
      • Transparenz
      • Qualitätsmanagement
      • Geschichte
    • Organisation
      • Präsidium
      • Präsidenten und Vorstand
      • Mitglieder
      • Senat
      • Kuratorium
      • Geschäftsstelle
      • Zusammenarbeit der Akademien
      • Satzung
    • Förderverein
      • Über den acatech Förderverein
      • Satzung des acatech Fördervereins
    • Stellenausschreibungen
  • EN
  • Themen
    • Corona-Krise
    • Arbeit & Bildung
    • Biotechnologie
    • Circular Economy
    • Digital & Selbstlernend
    • Energie & Ressourcen
    • Gesundheitstechnologien
    • Innovation
    • Mobilität
    • Sicherheit
    • Technik & Gesellschaft
    • Themennetzwerke
  • Projekte
  • Publikationen
  • Dialog
    • Zukunftsrat des Bundeskanzlers
    • Europäische Politikberatung
    • Internationales
    • Parlamentarische Veranstaltungen
    • Öffentliche Dialogveranstaltungen
    • acatech HORIZONTE
    • #FutureWorkDebatte
  • Termine
  • Aktuelles
    • Meldungen
    • Mediathek
    • Frag acatech
    • Abonnements
    • Wie wir kommunizieren – Leitlinien und Initiativen
  • Über uns
    • Wofür wir stehen
      • Leitbild
      • Leitlinien
      • Transparenz
      • Qualitätsmanagement
      • Geschichte
    • Organisation
      • Präsidium
      • Präsidenten und Vorstand
      • Mitglieder
      • Senat
      • Kuratorium
      • Geschäftsstelle
      • Zusammenarbeit der Akademien
      • Satzung
    • Förderverein
      • Über den acatech Förderverein
      • Satzung des acatech Fördervereins
    • Stellenausschreibungen
  • EN

KI-Regulierung: Wie sich vertrauenswürdige Systeme gestalten lassen

Foto: shutterstock/DedMityay

München, 23. November 2021

Künstliche Intelligenz (KI) verbessert Prozesse und ermöglicht neue Geschäftsmodelle, birgt aber auch Risiken. Damit sichere Anwendungen zum Einsatz kommen, will die Europäische Kommission KI-Systeme entsprechend ihrer Risiken regulieren. Expertinnen und Experten der Plattform Lernende Systeme halten diesen Ansatz für notwendig, aber nicht ausreichend, um vertrauenswürdige KI-Systeme zu schaffen. Sie fordern, den konkreten Anwendungskontext eines Systems zu berücksichtigen sowie Beschwerdestellen und klare Haftungsregeln. In einem aktuellen Whitepaper benennen sie zusätzliche Kriterien, um das Gefahrenpotenzial eines KI-Systems beurteilen zu können und zeigen, wie die Verantwortung für Schäden zwischen Akteuren aufgeteilt werden sollte.

KI-Systeme können die medizinische Behandlung verbessern, zu einer nachhaltigeren Mobilität beitragen und Beschäftigte am Arbeitsplatz entlasten. Ihr Einsatz kann aber auch mit ethischen und sicherheitstechnischen Risiken verbunden sein, etwa wenn die Empfehlung einer Assistenz-Software zu diskriminierenden Personalentscheidungen führt oder ein autonomes Fahrzeug einen Unfall verursacht. Ziel des aktuellen Regulierungsvorschlags der Europäischen Kommission ist es daher, den Einsatz von KI-Systemen sicher und vertrauenswürdig zu machen, ohne Innovationen zu hemmen. Die EU hat dazu KI-Anwendungen nach ihrem Gefahrenpotenzial (der sogenannten Kritikalität) klassifiziert. So gehen etwa von Systemen zur intelligenten Wartung von Industriemaschinen keinerlei Gefahren aus. Sie entsprechen der niedrigsten von vier Risikostufen und bedürfen laut EU-Vorschlag keiner Regulierung. Andere denkbare KI-Anwendungen bergen indessen Risiken und müssen reguliert werden – bis hin zum Verbot, falls ihre Risiken als unannehmbar eingestuft werden, etwa Social Scoring durch staatliche Stellen.

Im Whitepaper „Kritikalität von KI-Systemen in ihren jeweiligen Anwendungskontexten“ analysieren Expertinnen und Experten der Plattform Lernende Systeme den Vorschlag zur KI-Regulierung, den die Europäische Kommission im April 2021 vorlegte und der nun im Europäischen Parlament und Ministerrat diskutiert wird. Sie konkretisieren die Kriterien, anhand derer sich die Risiken von KI-Systemen beurteilen lassen und betonen, dass KI-Systeme immer als Einzelfall und vor dem Hintergrund ihres jeweiligen Anwendungskontextes bewertet werden müssen. „Das gleiche System kann in einem Zusammenhang unproblematisch und in einem anderen höchst kritisch sein. KI für die Detektion von Hate Speech dürfte zum Beispiel zunächst als vergleichsweise unbedenklich gelten. Wenn die gleiche Anwendung aber von einem totalitären Staat genutzt wird, um kritische Stellungnahmen ausfindig zu machen und zu eliminieren, dann fällt die Bewertung gegenteilig aus“, so Jessica Heesen, Medienethikerin der Eberhard Karls Universität Tübingen und Co-Leiterin der Arbeitsgruppe „IT-Sicherheit, Privacy, Recht und Ethik“ der Plattform Lernende Systeme.

Wie kritisch ein System zu bewerten ist und wie stark es reguliert werden sollte, will die EU-Kommission im Vorhinein durch bestimmte Kriterien festlegen. Das Whitepaper empfiehlt, folgende Fragen stärker in den Blick zu nehmen: ob die Empfehlungen oder Entscheidungen eines KI-Systems Menschenleben oder Rechtsgüter wie die Umwelt gefährden und wieviel Handlungsspielraum dem Menschen bei der Auswahl und Nutzung der Anwendung bleibt, etwa um bestimmte Funktionen abzuschalten. Nach Ansicht der Autorinnen und Autoren müssen die Kontroll- und Entscheidungsmöglichkeiten der Nutzer von KI-Systemen bei der Bewertung der Kritikalität stärker berücksichtigt werden. So ist es etwa ein Unterschied, ob eine KI-Software für den Aktienhandel Verkäufe automatisiert durchführt oder dem Aktienbesitzer lediglich Empfehlungen dafür gibt.

Ihr Fazit: Der Ansatz der Europäischen Kommission, KI-Systeme entsprechend ihres Gefahrenpotenzials zu regulieren, ist ein notwendiger Schritt auf dem Weg zu vertrauenswürdigen KI-Systemen. Insbesondere für Anwendungen mit höheren Autonomiegraden ist er jedoch nicht ausreichend. Es bestehe die Gefahr, dass die Risikoeinstufung eine Sicherheit vorgaukele, die ohne flankierende nicht-technische Maßnahmen nicht gewährleistet werden könne, so Peter Dabrock, Ethikprofessor an der Friedrich-Alexander-Universität Erlangen-Nürnberg und Mitglied der Plattform Lernende Systeme.

Beschwerdemöglichkeiten und Haftungsregeln

Generell lassen sich die Risiken von KI-Systemen nur bedingt vorhersehen. Anders als bei der Risikoeinschätzung von konventioneller Software lernen KI-Systeme selbstständig während ihres Einsatzes dazu und verändern sich laufend. Die Autorinnen und Autoren fordern, die Regulierung anhand des Risikopotenzials, um weitere Mechanismen zu ergänzen, die während und nach der Anwendung des KI-Systems greifen. Sie schlagen ein Verbraucherschutzregime vor, das Nutzerinnen und Nutzern niedrigschwellige und zeitnahe Beschwerdemöglichkeiten bietet, etwa bei Diskriminierung durch ein KI-System. Zudem müsse die Verantwortung für die Risiken von KI-Systemen klar über Haftungsregeln aufgeteilt werden. So sollte im B2B-Bereich grundsätzlich der Anwender entsprechend dem Vertragsrecht verantwortlich für die von KI-Systemen gelieferten Ergebnisse sein. Für Anwendungen im öffentlichen Bereich sollte die öffentliche Hand die volle Verantwortung für diskriminierende oder schädliche Konsequenzen im Rahmen des öffentlichen Rechts tragen.

Über das Whitepaper

Das Whitepaper „Kritikalität von KI-Systemen in ihren jeweiligen Anwendungskontexten. Ein notwendiger, aber nicht hinreichender Baustein für Vertrauenswürdigkeit“ wurde von Expertinnen und Experten der Arbeitsgruppe „IT-Sicherheit, Privacy, Recht und Ethik“ sowie der Arbeitsgruppe „Technologische Wegbereiter und Data Science“ der Plattform Lernende Systeme verfasst. Es steht zum kostenfreien Download zur Verfügung.

Schlagwörter

Arbeitswelten der Zukunft | Digital & Selbstlernend | KI | Künstliche Intelligenz

  • Ansprechpartnerin

    Linda Treugut
    acatech - Deutsche Akademie der Technikwissenschaften
    Co-Leitung Kommunikation Plattform Lernende Systeme
    Tel.: +49 89 520309-54
    treugut@acatech.de

    Ansprechpartnerin

    Birgit Obermeier
    acatech - Deutsche Akademie der Technikwissenschaften
    Stellv. Leiterin der Geschäftsstelle (komm.) Plattform Lernende Systeme
    Tel.: +49 89 520309-51
    obermeier@acatech.de

  • Publikation

    Titelbild der Publikation Kritikalität von KI-Systemen in ihren jeweiligen Anwendungskontexten

    Kritikalität von KI-Systemen in ihren jeweiligen Anwendungskontexten (Whitepaper)

  • Projekte

    Rot leuchtende Glasfaserkabel vor einer Platine.

    Lernende Systeme – Die Plattform für Künstliche Intelligenz

  • Thema

    Digital & Selbstlernend

Newsletter

Unsere Newsletter informieren Sie über aktuelle Themen, Veröffentlichungen und Veranstaltungen der Akademie und ihrer Projekte.
Hier können Sie sich anmelden.

Wenn Sie unsere Newsletter NICHT mehr erhalten möchten, können Sie sich hier abmelden.

  • Social Media




  • Akademie

    • Wofür wir stehen
    • Themen
    • Mitglieder
    • Senat
    • Präsidium
    • Vorstand
    • Geschäftsstelle
    • Stellenausschreibungen
    • Standorte
  • Rechtliches

    • Impressum
    • Datenschutzerklärung
  • Kontakt

    acatech – Deutsche Akademie
    der Technikwissenschaften

    Geschäftsstelle
    Karolinenplatz 4
    80333 München

    +49 (0)89/52 03 09-0
    info@acatech.de

© 2023 acatech - Deutsche Akademie der Technikwissenschaften