Der Artificial Intelligence Act ist (fast) da

Für diejenigen, die beim Anblick von Kaffee kochenden Robotern unwillkürlich an Science-Fiction-Serien wie Kampfstern bzw. Battlestar Galactica denken, mag diese Szene Unbehagen hervorrufen.

Es ist eine Sache, wenn Roboter programmiert werden, um Kaffee zu kochen, aber eine ganz andere, wenn sie sich diese Fähigkeit selbst beibringen. Angesichts der aktuellen Diskussionen über künstliche Intelligenz (KI) in Waffensystemen ist es wichtig, die potenziellen Risiken von KI zu bewerten und Strategien zu entwickeln, um diesen Gefahren zu begegnen.

Diese globale Herausforderung wurde auch von der Generalversammlung der Vereinten Nationen erkannt, die am 21.03.2024 eine Resolution (A/78/L/49) zum verantwortungsvollen Umgang mit KI verabschiedete. In der Pressemitteilung zur Resolution werden deren Inhalte zusammengefasst. Darin werden Länder aufgefordert, KI-Technologien nicht einzusetzen, wenn diese nicht mit internationalen Menschenrechten vereinbar sind oder signifikante Risiken für die Menschenrechte darstellen. Es wird empfohlen, Rahmenbedingungen für eine sichere und vertrauenswürdige Nutzung von KI zu schaffen.

In Europa arbeitet die Europäische Union (EU) bereits an einer solchen Regelung. Nach einem Vorschlag der EU-Kommission im Jahr 2021, dem Artificial Intelligence Act (2021/0106 (COD), kurz AI Act), hat das Europäische Parlament am 13.03.2024 eine Position zum AI Act festgelegt (P9_TA(2024)0138). Vorangegangen waren Verhandlungen zwischen Parlament und Rat, die laut Pressemitteilung im Dezember 2023 zu einem Abschluss kamen. Als letzten Schritt muss jetzt der Rat den Text, wie ihn das Parlament verabschiedet hat, annehmen, was noch vor den Europawahlen im Juni zu erwarten ist.

Inhalt des AI Acts

Ausgegangen wird von dem Text, den das Parlament im März angenommen hat.

Der AI Act gilt für zivile KI-Anwendungen und betrifft alle Betreiber von KI-Systemen, die im EU-Binnenmarkt tätig sind (Art. 2 Abs. 1 AI Act). Er gilt nicht für militärische Anwendungen und nicht für reine Forschungs- und Entwicklungsarbeiten (Art. 2 Abs. 3 und 6 AI Act). Der Act betont, dass er die DSGVO, nicht ersetzt (Art. 2 Abs. 7 AI Act). Dies betrifft auch ausdrücklich die Rechte im Zusammenhang mit der automatisierten Entscheidungsfindung nach Art. 22 DSGVO.

Außerdem verpflichtet der AI Act die Betreiber ausdrücklich darauf, dass die betreffenden Beschäftigten über ein ausreichendes Maß an KI-Kompetenz verfügen (Art. 4 AI Act).

Er führt zudem spezifische Kategorien für KI-Systeme ein: verbotene KI-Praktiken, Hochrisiko-KI-Systeme und allgemeine KI-Modelle, mit besonderen Bestimmungen für solche mit systemischem Risiko.

Verbotene Praktiken im KI-Bereich

Art. 5 des AI Acts regelt die verbotenen KI-Bereiche. Zu den verbotenen Praktiken zählen u. a. manipulative Techniken, die Ausnutzung von Personen, diskriminierende Beurteilungen und bestimmte Formen der Gesichtserkennung und Emotionsanalyse ohne klare Rechtfertigung.

Das Verbot zielt vor allem auf folgende Techniken:

• Techniken, die darauf abzielen, Personen ohne deren bewusste Zustimmung oder Wissen zu beeinflussen bzw. zu manipulieren;
• das Ausnutzen von Schwächen oder der Schutzbedürftigkeit von Personen;
• die Beurteilung von Personen aufgrund ihres sozialen Verhaltens oder persönlicher Eigenschaften, die zu einer Schlechterstellung oder Benachteiligung führt;
• Gesichtserkennungstechnologien, sei es durch das ungezielte Auslesen von Bildern aus dem Internet oder von Überwachungsaufnahmen;
• die Ableitung sensibler Informationen wie Emotionen am Arbeitsplatz oder in Bildungseinrichtungen ohne medizinische oder Sicherheitsgründe;
• die Verwendung biometrischer Daten zur Kategorisierung von Personen nach sensiblen Merkmalen wie Rasse, politischen Einstellungen oder sexueller Orientierung, soweit es nicht um Strafverfolgung geht;
• der Einsatz von Echtzeit-Fernidentifizierungssystemen, wie der Gesichtserkennung in öffentlichen Räumen, es sei denn, es ist zur Aufklärung von schweren Straftaten (Entführung, Menschenhandel) oder zur Gefahrenabwehr (Auffinden vermisster Personen, Gefahr eines Terroranschlags) unbedingt erforderlich. Dabei sind auch die Vorgaben der DSGVO zu sensiblen Daten nach Art. 9 DSGVO zu beachten.

Hochrisiko-KI-Systeme

Die zweite Kategorie betrifft sog. Hochrisiko-Systeme (Art. 6 AI Act). KI-Systeme werden als solche eingestuft, wenn das KI-System z. B. in folgenden Bereichen eingesetzt werden soll (Anhang III des AI Acts):

• als Sicherheitskomponente oder Teil eines Produkts wie Sportboote, Motorräder, Aufzüge, Seilbahnen oder Schutzausrüstung;
• als ein biometrisches Fernidentifizierungssystem oder zur Emotionserkennung;
• im Rahmen der kritischen Infrastruktur;
• zur Feststellung des Zugangs oder Zulassung zur Einrichtung einer beruflichen Bildung;
• zur Bewertung von Lernergebnissen oder des Bildungsniveaus;
• zur Überwachung bzw. Erkennung von verbotenem Verhalten von Schülern bei Prüfungen;
• zur Gewährung von grundlegenden Diensten und Leistungen öffentlicher Dienste und Leistungen, einschließlich Gesundheitsdienste;
• in der Strafverfolgung, im Bereich Migration, bei der Grenzkontrolle, soweit der Einsatz nach Unionsrecht oder nationalem Recht zugelassen.

Die vorher beschriebenen Anwendungsfälle von KI werden nicht als hochriskant eingestuft, solange sie kein bedeutendes Risiko für Menschen darstellen. Das heißt, wenn der Einsatz der KI darauf abzielt, menschliche Arbeit zu verbessern und nicht zu ersetzen oder zu beeinflussen. Außerdem gilt die Nutzung als weniger riskant, wenn die KI keine eigenständigen Bewertungen durchführt, sondern lediglich vorbereitende Tätigkeiten übernimmt, die dann von Menschen bewertet werden. Hochriskant ist ein KI-System aber immer, wenn ein Profiling einer natürlichen Person in den genannten Einsatzbereichen vorgenommen wird.

Sollte ein Anbieter der Meinung sein, dass sein KI-System kein Hochrisiko-System ist, muss dieser seine Bewertung dokumentieren und der zuständigen Behörde auf Verlangen zur Prüfung vorlegen.

Für ein KI-System, das als hochriskant eingestuft wird, muss ein System zur Risikobewertung und -steuerung etabliert werden. Dies bedeutet, dass dieses Risikomanagementsystem dauerhaft im Einsatz sein muss, um das KI-System zu überwachen und zu bewerten, wie es in Art. 9 des AI Act vorgeschrieben ist.

Folgende Schritte umfasst ein solches Risikomanagementsystem:

• Ermittlung und Analyse vorhersehbarer Risiken für Gesundheit, Sicherheit oder Grundrechte bei der entsprechenden Verwendung;
• Abschätzung und Bewertung der Risiken, die bei entsprechender Verwendung oder vorhersehbarer Fehlanwendung entstehen;
• Bewertung weiterer Risiken, nach der Markteinführung;
• Umsetzung von Maßnahmen zur Risikominderung.

Das Hauptziel des Risikomanagements ist es sicherzustellen, dass jedes wichtige Risiko als akzeptabel angesehen wird. Das bedeutet, dass beim Training von KI-Systemen mit Daten, diese Daten bestimmten Qualitätsstandards genügen müssen. Zu diesen Standards gehören Verfahren zur Datensammlung und Informationen über die Herkunft der Daten. Wenn es sich um personenbezogene Daten handelt, muss auch der ursprüngliche Grund für das Sammeln dieser Daten klar sein, wie in Art. 10 AI Act festgelegt.

Es ist erforderlich, dass für jedes Hochrisiko-KI-System eine technische Dokumentation erstellt wird. Diese Dokumentation muss klar und verständlich nachweisen, dass das System den Vorschriften des KI-Gesetzes entspricht (Art. 11 AI Act). Zusätzlich muss eine Funktion zur Protokollierung von Ereignissen eingerichtet werden, die potenziell Risiken für die Gesundheit, Sicherheit oder die Grundrechte von Personen darstellen könnten (Art. 12 AI Act). Diese Verpflichtung zur Protokollierung erstreckt sich über den gesamten Lebenszyklus des KI-Systems, um eine lückenlose Überwachung und Rechenschaftspflicht zu gewährleisten.

Daneben müssen Anbieter der Hochrisiko-Systeme weitere Pflichten erfüllen, wie eine wirksame menschliche Aufsicht, die auch das System stoppen kann (Art. 14 AI Act), Robustheit im Rahmen der Cybersicherheit zum Schutz der Daten (Art. 15 AI Act), ein Qualitätsmanagementsystem, welches die Einhaltung des AI Acts gewährleistet (Art. 17 AI Act). Die Betreiber der Hochrisiko-Systeme müssen sicherstellen, dass sie geeignete technische und organisatorische Maßnahmen zum Betrieb getroffen haben.

Datenschutz-Folgenabschätzung und Grundrechte-Folgenabschätzung

Außerdem geht Art. 26 Abs. 9 AI Act davon aus, dass der Betreiber regelmäßig eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO vornehmen muss.

Art. 27 AI Act führt etwas ein, das der Datenschutz-Folgenabschätzung ähnlich, aber speziell für Hochrisiko-KI-Systeme gedacht ist: die Grundrechte-Folgenabschätzung. Diese Abschätzung ist notwendig für bestimmte Betreiber, wie solche im öffentlichen Bereich oder Unternehmen, die sich mit Kreditwürdigkeit, Preisgestaltung sowie Kranken- und Lebensversicherungen beschäftigen. Bei dieser Folgenabschätzung müssen die Verantwortlichen folgende wichtige Punkte berücksichtigen und bewerten, wie ihr KI-System die Grundrechte beeinflussen könnte:

• Verfahrensbeschreibung des Einsatzes;
• Häufigkeit der Verwendung des KI-Systems;
• Identifikation betroffener natürlicher Personen oder Personengruppen;
• Schadensrisiken für identifizierte Personen bzw. Personengruppen;
• Umsetzungsbeschreibung der menschlichen Aufsicht aus Art. 14 AI Act;
• Beschreibung der Maßnahmen, die bei Risikoeintritt zu treffen sind.

Der Anbieter ist verpflichtet, das Hochrisiko-System in einer EU-Datenbank zu registrieren (Art. 49 AI Act). Tests von Hochrisiko-Systemen können unter bestimmten Voraussetzungen unter Realbedingungen durchgeführt werden, die die EU-Kommission noch festlegen muss (Art. 60 AI Act). Von Testteilnehmern ist eine Einwilligung einzuholen (Art. 61 AI Act).

Transparenzpflichten bei bestimmten KI-Systemen nach Art. 50 AI Act

Wenn ein Chatbot durch KI betrieben wird, muss der Anbieter sicherstellen, dass die Nutzer informiert werden, dass sie mit einer KI interagieren – es sei denn, es ist für den Nutzer offensichtlich. Außerdem müssen Inhalte, die von einem KI-System erstellt oder bearbeitet werden – seien es Audioinhalte, Bilder, Videos oder Texte – deutlich als künstlich erzeugt oder manipuliert gekennzeichnet sein.

Falls ein System zur Emotionserkennung oder zur biometrischen Klassifizierung verwendet wird, ist der Betreiber verpflichtet, die betroffenen Personen in Übereinstimmung mit den Datenschutzregelungen der DSGVO darüber zu informieren.

Ebenso müssen Betreiber von KI-Systemen, die Inhalte erzeugen oder bearbeiten, die als Deepfakes gelten, transparent machen, dass diese Inhalte künstlich erzeugt oder manipuliert wurden.

KI-Modelle mit allgemeinem Verwendungszweck

Das KI-Modell ist vom KI-System zu unterscheiden. Das KI-Modell ist integraler Bestandteil eines KI-Systems. Damit es aber zu einem KI-System im Sinne des AI Acts wird, ist bspw. die Ergänzung einer Nutzerschnittstelle erforderlich. KI-Modelle sind i. d. R. in KI-Systeme integriert und ein Teil davon (ErwGr. 97).

Ein solches KI-Modell ist bspw. GPT-4, welches in OpenAI enthalten ist und für eine Vielzahl von Zwecken genutzt werden kann. Dieser Passus hat das EU-Parlament auf Reaktion der Veröffentlichung von GPT von OpenAI ergänzt, da beim ersten Entwurf 2021 diese Entwicklung nicht abzusehen war.

Weiter unterscheidet der AI Act zwischen Modellen mit systemischem und ohne systemisches Risiko:

Kein systemisches Risiko

Wenn kein systemisches Risiko besteht, hat der Anbieter von KI-Modellen nach Art. 53 AI Act folgende Pflichten:

• Erstellung und Aktualisierung der technischen Dokumentation, einschließlich Trainings- und Testverfahren;
• Bereitstellung von Informationen und Dokumentationen für Anbieter von KI-Systemen;
• Strategie zur Einhaltung des Urheberrechts;
• Zusammenfassung der verwendeten Trainingsinhalte.

Anbieter von KI-Modellen im Rahmen einer freien oder offenen Lizenz sind von der Dokumentations- und Informationspflicht befreit.

Systemisches Risiko

Man geht bei KI-Modellen von einem systemischen Risiko aus, wenn sie ein breites Spektrum unterschiedlicher Aufgaben kompetent erfüllen und in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden können. Ein solches System wird vermutet, wenn die kumulierte Menge der für sein Training verwendeten Berechnungen mehr als 10^25 FLOPS beträgt (Art. 51 Abs. 2 AI Act). Zum Vergleich: Die Playstation 5 hat eine Anzahl von 10,15 TeraFLOPS (1 TeraFLOPS sind 10^12 FLOPS). Der Anbieter muss dieses System der EU-Kommission melden (Art. 52 AI Act). Die EU-Kommission wird eine Liste der KI-Modelle veröffentlichen.

Zusätzlich zu den Pflichten, die bei Modellen ohne systemisches Risiko erfüllt werden müssen, kommen nach Art. 55 AI Act folgende hinzu:

• Modellbewertung mit standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, einschließlich der Dokumentation von Angriffstests, um Systemrisiken zu identifizieren und zu reduzieren;
• mögliche systemische Risiken auf Unionsebene bewerten und verringern;
• alle ernsten Zwischenfälle und die entsprechenden Gegenmaßnahmen sollten dokumentiert und sowohl dem Amt für künstliche Intelligenz der EU-Kommission als auch ggf. den nationalen Behörden umgehend gemeldet werden;
• Sicherstellung der Cybersicherheit.

KI-Reallabore

Im AI Act geht es allerdings nicht nur um die Reglementierung von KI-Systemen bzw. -Modellen, sondern auch um die Förderung solcher Systeme bzw. Modelle.

Nach Art. 57 AI Act werden die Mitgliedstaaten verpflichtet, ein KI-Reallabor einzurichten. Mit diesen KI-Reallaboren sollen Innovationen gefördert und die Entwicklung, das Training, das Testen und die Validierung von KI-Systemen vor Markteinführung oder Inbetriebnahme erleichtert werden. Die Behörden sollen dabei unterstützen, mögliche Risiken zu erkennen und zu minimieren.

Personenbezogene Daten dürfen zur Entwicklung bestimmter KI-Systeme im Reallabor für die Zwecke der Entwicklung, des Trainings und des Testens bestimmter KI-Systeme verarbeitet werden (Art. 59 AI Act). Bedingung ist, dass

• dies im Interesse der öffentlichen Sicherheit und Gesundheit (Umwelt- und Klimaschutz, Verkehrssicherheit, Effizienzsteigerung der öffentlichen Verwaltung) erfolgt;
• die Anforderungen an Hochrisiko-KI-Systeme, sowie Überwachungsmechanismen, wie eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO, eingehalten werden;
• personenbezogene Daten getrennt von anderen Daten verarbeitet werden;
• personenbezogenen Daten werden nicht an Dritte weitergegeben werden;
• die Verarbeitung der personenbezogenen Daten für betroffene Personen keine Konsequenzen hat und
• geeignete Maßnahmen zum Schutz der Daten getroffen und die Protokollierung sowie eine Prozessbeschreibung der Datenverarbeitung erfolgt.

Meldepflicht bei schwerwiegenden Vorfällen

Anbieter von Hochrisiko-Systemen sind verpflichtet, innerhalb von 15 Tagen einen Vorfall zu melden, sobald Anbieter oder ggf. Betreiber davon Kenntnis erlangt haben. Diese Meldung muss an die Marktüberwachungsbehörden der Mitgliedstaaten gerichtet sein (Art. 73 AI Act). Ein schwerwiegender Vorfall ist gegeben, wenn eine der folgenden Situationen eintritt: Eine Person stirbt oder erleidet ernsthafte Gesundheitsschäden, es kommt zu einer schweren Störung in der Verwaltung oder im Betrieb kritischer Infrastrukturen, es liegt ein Verstoß gegen das Unionsrecht zum Schutz der Grundrechte vor, oder es entstehen erhebliche Sach- und Umweltschäden (Art. 3, Nr. 49 AI Act).

Bildung von Beratungsgremien

Es wird einen „Europäischen Ausschuss für künstliche Intelligenz“ und ein Sachverständigengremium geben, welche die EU-Kommission und die Mitgliedstaaten bei der Durchführung des AI Acts unterstützen sollen (Art. 65 f. AI Act).

Sanktionen

Die Überwachung der Einhaltung des AI Acts übernehmen nationale Behörden (Art. 74 AI Act). Grundsätzlich erlassen die Mitgliedstaaten Vorschriften für Sanktionen und andere Durchsetzungsmaßnahmen wie Verwarnungen und andere Maßnahmen (Art. 99 AI Act).

Allerdings macht der AI Act Vorgaben, wenn es um verbotene Praktiken im KI-Bereich geht (Art. 5 AI Act). Diese sind Geldbußen von bis zu 35 Mio. Euro oder – im Falle von Unternehmen – bis zu 7 % des gesamten weltweiten Jahresumsatzes. Diese Geldbußen sind noch einmal höher als in der DSGVO (bis zu 4 % des Jahresumsatzes) oder im Digital Services Act (bis zu 6 % des Jahresumsatzes). Andere Verstöße gegen den AI Act werden mit bis zu 15 Mio. Euro oder – im Falle von Unternehmen – mit bis zu 3 % des gesamten weltweiten Jahresumsatzes geahndet. Die niedrigere Bußgeldandrohung gilt auch für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (Art. 101 AI Act).

Inkrafttreten und Geltungsbeginn

Der AI Act tritt am 20. Tag nach Veröffentlichung im Amtsblatt der EU in Kraft. Das wird aller Voraussicht nach im Juni 2024 der Fall sein. Nach einer Übergangszeit von zwei Jahren, in der die Unternehmen Zeit haben, die Vorgaben des AI Acts zu erfüllen, wird er verbindlich. Ab diesem Zeitpunkt können auch Sanktionen verhängt werden.

Fazit

Es ist der EU zugutezuhalten, dass sie sich der KI angenommen hat und versucht, Regulierung und Förderung von KI unter einen Hut zu bringen. Ähnlich wie beim Digital Markets Act möchte man verhindern, die Entwicklung der KI ausschließlich den USA oder China zu überlassen. Ob die im AI Act angelegte Förderung dafür ausreicht, bleibt abzuwarten.

Auf der anderen Seite gewinnt man den Eindruck, dass der AI Act mit seinem risikobasierten Ansatz zwar Verbote ausspricht, wenn dies hauptsächlich zum Nachteil von Menschen führen kann, allerdings hier auch Ausnahmen für Strafverfolgung und Gefahrenabwehr zulässt. Gerade der Einsatz von KI zur Gefahrenabwehr lässt vermuten, dass wir hier ähnliche Diskussionen haben werden wie die zur Vorratsdatenspeicherung.

Es ist nicht auszuschließen, dass gegen den Einsatz von KI auf Grundlage des AI Acts geklagt und der EuGH sich damit befassen wird.

Die Gefahren werden allerdings in einem Bereich schlummern, der vom AI Act gar nicht erfasst wird, nämlich im militärischen. Was die Zukunft von KI in diesem Bereich bringen wird, erfahren wir bereits in den aktuellen Konflikten in der Ukraine und im Gazastreifen.