In diesem Blogbeitrag unserer Reihe zum AI Act (KI-Verordnung) haben wir einen Überblick gegeben, in welchen Artikeln sich der AI Act an die verschiedenen Akteure richtet. Im vorliegenden Beitrag soll es nun darum gehen, welche Anforderungen konkret an Betreiber von KI-Systemen gestellt werden. Hierbei ist zu unterscheiden zwischen
- Betreibern von KI-Systemen
- Betreibern von bestimmten KI-Systemen
- Betreibern von Hochrisiko-KI-Systemen
Betreiber von KI-Systemen
Welche generellen Anforderungen werden an Unternehmen gestellt, die KI-Systeme betreiben, und wie wird der Begriff Betreiber im AI Act definiert? Gemäß Art. 3 Ziffer 4 ist ein Betreiber eines KI-Systems eine „natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet […]“. Ausdrücklich hiervon ausgenommen ist der persönliche oder nicht berufliche Betrieb eines KI-Systems.
Betreiber von KI-Systemen müssen zum einen gemäß Art 4 dafür sorgen, dass Mitarbeiter und Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen. Gemäß Erwägungsgrund 20 soll die KI-Kompetenz dazu beitragen, fundierte Entscheidungen über KI-Systeme zu treffen und zu verstehen, wie sich mithilfe von KI getroffene Entscheidungen auf Betroffene auswirken werden. Auch sollten Kenntnisse vermittelt werden, um die angemessene Einhaltung und die ordnungsgemäße Durchsetzung des AI Act sicherzustellen.
Zum anderen sind die Betreiber dafür verantwortlich, dass keine KI-Systeme in Verkehr oder in Betrieb genommen werden, deren Einsatz gemäß Art. 5 verboten ist. Welche KI-Systeme ab 2. Februar 2025 verboten sind, haben wir hier beschrieben.
Betreiber von bestimmten KI-Systemen
Zusätzlich zu den allgemeinen Pflichten aus Art. 4 und 5 adressiert Art. 50 Abs. 3 – 6 zahlreiche Informationspflichten an Betreiber „bestimmter KI-Systeme“, hierunter fallen u. a. Emotionserkennungssysteme und Systeme zur biometrischen Kategorisierung sowie Systeme zur Erzeugung von Audio-, Bild-, Video- oder Textinhalten. Zwar gehören auch ChatBots zu den bestimmten KI-Systemen; Informationspflichten bei ChatBots werden jedoch nicht für die Betreiber, sondern nur für die Anbieter von ChatBots formuliert.
Die Betreiber eines Emotionserkennungssystems oder eines KI-Systems zur biometrischen Kategorisierung informieren die davon betroffenen natürlichen Personen über den Betrieb des Systems und verarbeiten personenbezogene Daten gemäß DSGVO. Eine Ausnahme bilden KI-Systeme, die zur Aufdeckung, Verhütung oder Ermittlung von Straftaten zugelassen sind, sofern geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter getroffen wurden.
Betreiber von KI-Systemen zur Erzeugung von Audio-, Bild- und Videoinhalten müssen offenlegen, dass Inhalte künstlich erzeugt oder manipuliert wurden. Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist. Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die Transparenzpflichten auf das Vorhandensein solcher Inhalte, ohne dabei die Darstellung oder den Genuss des Werks zu beeinträchtigen.
Betreiber von KI-Systemen zur Generierung von Text, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen ebenfalls offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde.
Die Informationen werden den Betroffenen spätestens zum Zeitpunkt der ersten Veröffentlichung in klarer, eindeutiger und barrierefreier Weise bereitgestellt.
Betreiber von Hochrisiko-KI-Systemen
Betreiber von Hochrisiko-KI-Systemen unterliegen zusätzlich zu den allgemeinen Pflichten aus Art. 4 und 5 (siehe oben) weiteren Pflichten. Inwieweit ein KI-System als hochriskant eingestuft wird, haben wir ausführlich in unserem Beitrag „AI Act: Hochrisiko-KI-Systeme – Jetzt klassifizieren“ erläutert.
Zusätzliche Pflichten
In Art. 26 werden zahlreiche zusätzliche Pflichten normiert, die Betreiber von Hochrisiko-KI-Systemen beachten müssen:
- Geeignete technisch-organisatorische Maßnahmen müssen umgesetzt werden, um einen ordnungsgemäßen Betrieb des KI-Systems sicherzustellen.
- Personen mit entsprechender Fachkenntnis muss die menschliche Aufsicht über das KI-System übertragen werden.
- KI-Systeme dürfen nicht zweckfremd genutzt werden.
- Der Betrieb des KI-Systems muss überwacht werden; im Falle von Risiken oder schwerwiegenden Vorfällen muss der Anbieter oder Händler bzw. Einführer des KI-Systems und die zuständige Marktüberwachungsbehörde informiert werden; der Betrieb des KI-Systems muss ausgesetzt werden.
- Automatisch erzeugte Protokolle müssen für mindestens 6 Monate aufbewahrt werden.
- Beschäftige und Arbeitnehmervertreter sind umfassend zu informieren, wenn KI-Systeme am Arbeitsplatz eingesetzt werden.
Organe, Einrichtungen oder sonstige Stellen der Union müssen zudem den Registrierungspflichten gemäß Art. 49 nachkommen. Stellen diese Betreiber fest, dass das Hochrisiko-KI-System, dessen Verwendung sie planen, nicht in der in Artikel 71 genannten EU-Datenbank registriert wurde, müssen sie von der Verwendung dieses Systems absehen und den Anbieter oder den Händler informieren.
Hochrisiko-KI-Systeme, die zur biometrischen Fernidentifikation oder zu Strafverfolgungszwecken genutzt werden sollen, unterliegen weiteren Vorschriften.
Grundrechte-Folgenabschätzung
Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, oder Betreiber, die Systeme zur Prüfung der Kreditwürdigkeit, zur Bonitätsbewertung oder zur Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen einsetzen, müssen gemäß Art. 27 eine Grundrechte-Folgenabschätzung durchführen. Hiervon ausgenommen sind wiederum KI-Systeme kritischer Infrastrukturen des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung oder kritische digitale Infrastrukturen.
Im Rahmen der Grundrechte-Folgenabschätzung muss geprüft werden, inwieweit sich durch den Betrieb des KI-Systems Risiken für die Gesundheit, die Sicherheit und die in der Charta der Europäischen Union verankerten Grundrechte der Betroffenen ergeben können. Zu den schützenswerten Grundrechten gehören laut Erwägungsgrund 48 insbesondere die Würde des Menschen, die Achtung des Privat- und Familienlebens, der Schutz personenbezogener Daten, die Freiheit der Meinungsäußerung und die Informationsfreiheit, die Versammlungs- und Vereinigungsfreiheit, das Recht auf Nichtdiskriminierung, das Recht auf Bildung, der Verbraucherschutz, die Arbeitnehmerrechte, die Rechte von Menschen mit Behinderungen, die Gleichstellung der Geschlechter, Rechte des geistigen Eigentums, das Recht auf einen wirksamen Rechtsbehelf und ein faires Gerichtsverfahren, das Verteidigungsrecht, die Unschuldsvermutung sowie das Recht auf eine gute Verwaltung.
Die Grundrechte-Folgenabschätzung umfasst folgende Dokumente:
- Verfahrensbeschreibung inklusive Zweckbestimmung
- Beschreibung des Zeitraums und der Häufigkeit des Einsatzes
- Kategorien der betroffenen Personen
- Risikoanalyse, bezogen auf die jeweiligen Personenkategorien auf der Grundlage der vom Anbieter gemäß Art. 13 bereitgestellten Informationen
- Beschreibung der Maßnahmen zur Risikominimierung inkl. menschlicher Aufsichtsmaßnahmen und Einführung eines Beschwerdemanagements
Die Pflicht zur Durchführung einer Grundrechte-Folgenabschätzung gilt für die erste Verwendung eines Hochrisiko-KI-Systems. Der Betreiber kann sich hierbei auf zuvor durchgeführte Grundrechte-Folgenabschätzungen, die ggf. auch vom Anbieter durchgeführt wurden, stützen. Ggf. ergänzt die Grundrechte-Folgenabschätzung eine Datenschutz-Folgenabschätzung, sofern eine Datenschutz-Folgenabschätzung bereits durchgeführt wurde. Das Ergebnis der Grundrechte-Folgenabschätzung wird der zuständigen Marktüberwachungsbehörde mitgeteilt.
Umfangreiche Ausnahmeregelung für bereits in Betrieb genommene KI-Systeme
Unbeschadet der verbotenen KI-Praktiken aus Art. 5 gelten die hohen Anforderungen an Betreiber von Hochrisiko-KI-Systemen gemäß Art. 111 Abs. Abs. 2 nicht für solche KI-Systeme, die bereits vor dem 2. August 2026 in Verkehr gebracht oder in Betrieb genommen wurden, sofern diese Systeme danach nicht in ihrer Konzeption erheblich verändert wurden. Diese sehr weitgehende Ausnahmeregelung gilt allerdings nicht für Behörden, die Hochrisiko-KI-Systeme betreiben; diese müssen die hohen Anforderungen aus Art. 26 bis zum 2. August 2030 umsetzen.