In den ersten beiden Blogbeiträgen dieser Reihe haben wir uns damit beschäftigt, ab wann der AI Act (KI-Verordnung) seine Wirksamkeit entfaltet und welche Schutzziele der AI Act verfolgt.
Dabei haben wir auch darauf hingewiesen, dass Schulungspflichten und Verbote schon ab dem 2. Februar 2025 gelten.
Darüber hinaus muss in bestimmten Fällen eine Grundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme nach Art. 27 AI Act bis zum 2. August 2026 durchgeführt werden. Zudem gelten je nach Klassifizierung des KI-Systems ab dem 2. August 2026 weitere Pflichten.
Was ist jetzt zu tun?
Anbieter oder Betreiber von KI-Systemen, die in den Anwendungsbereich der Verordnung fallen, sollten sich neben der Erstellung einer Schulungsstrategie zur Herstellung der nach Art. 4 AI Act geforderten KI-Kompetenz der Beschäftigten bereits jetzt um mindestens zwei Punkte kümmern:
- Identifizierung verbotener KI-Praktiken. Falls solche verbotenen Praktiken identifiziert werden, muss die Einstellung dieser Praktiken spätestens bis zum 2. Februar 2025 erfolgen.
- Weitere Klassifizierung der relevanten KI-Systeme, mit dem Ziel, die Pflichten zu identifizieren, die zum 2. August 2026 umgesetzt sein müssen. In diesem Rahmen ist die frühzeitige Aufstellung eines entsprechenden Zeit- und Maßnahmenplans sinnvoll.
Schritt 1: Identifizierung verbotener KI-Praktiken
Der AI Act regelt in Art. 5 ausdrücklich einen Katalog verbotener KI-Praktiken. Auf den ersten Blick ist der Artikel recht lang, allerdings wird eine ganze Reihe der dort genannten Punkte auf viele Unternehmen und Behörden nicht zutreffen. Wir wenden uns also in einer ersten Schicht den problematischen und praxisrelevanten Punkten zu.
Konkret sollten Sie prüfen, ob folgende, ab dem 2. Februar 2025 verbotene, KI-Praktiken derzeit zur Anwendung kommen oder geplant sind:
- Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person
- Absichtlich manipulative oder täuschende Techniken
- Ausnutzung der Vulnerabilität oder Schutzbedürftigkeit einer natürlichen Person
- Bewertung oder Einstufung von natürlichen Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale
- Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen
- Biometrischen Kategorisierung, mit denen natürliche Personen individuell auf der Grundlage ihrer biometrischen Daten kategorisiert werden, um ihre Rasse (sic), ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten
Wenn Sie eine der oben genannten Praktiken identifizieren, lohnt sich ein genauerer Blick in Art. 5 AI Act, denn bei einigen der genannten Punkte müssen noch weitere Auswirkungen hinzutreten um ein Verbot herbeizuführen.
Kommt man zum Beispiel zu dem Schluss, dass ein KI-System mit den oben genannten Techniken der unterschwelligen Beeinflussung bzw. mit absichtlich manipulativen oder täuschenden Techniken zum Einsatz kommt, so ist diese KI-Praktik noch nicht per se nach dem AI Act verboten. Denn nach Art. 5 Abs. 1 lit. a AI Act muss hierdurch zusätzlich das Verhalten einer Person oder einer Gruppe von Personen wesentlich verändert werden, indem ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt wird. Zudem muss diese Beeinflussung der Person einen erheblichen Schaden zumindest mit hinreichender Wahrscheinlichkeit zufügen. Es lohnt sich also, die jeweiligen Artikel zu Ende zu lesen.
Auch die Ausnutzung der Vulnerabilität oder Schutzbedürftigkeit einer natürlichen Person führt nach Art. 5 Abs. 1 lit. b AI Act nicht sofort zum Verbot. Hinzutreten muss noch die Komponente einer Verhaltensänderung und eines zumindest hinreichend wahrscheinlichen, erheblichen Schadens.
Ähnliches gilt für die dargestellte Bewertung oder Einstufung von natürlichen Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale. Hier muss nach Art. 5 Abs. 1 lit. c AI Act zusätzlich noch eine zweckfremde Schlechterstellung der betroffenen Person hinzutreten oder eine Schlechterstellung, die unverhältnismäßig oder ungerechtfertigt ist.
Und auch im Hinblick auf die Ableitung von Emotionen einer natürlichen Person wird schon der Anwendungsbereich der Verbotsnorm durch Art. 5 Abs. 1 lit. f AI Act auf die Bereiche Arbeitsplatz und Bildungseinrichtungen beschränkt. Darüber hinaus gibt es Ausnahmen vom Verbot für medizinische Gründe oder Sicherheitsgründe.
Insgesamt sind die nach dem AI Act verbotenen KI-Praktiken in der Praxis daher vermutlich schnell identifiziert, auch wenn sich hier sicherlich Abgrenzungsschwierigkeiten aufgrund von unbestimmten Rechtsbegriffen ergeben werden.
Zudem muss man aber beachten: Nur weil etwas vom AI Act nicht verboten wird, ist es nicht automatisch erlaubt. Denn alle anderen Regelungen, zum Beispiel die der DSGVO, gelten weiterhin parallel in voller Anwendbarkeit.
Nicht abschließend
An dieser Stelle wollen wir noch erwähnen, dass es noch einige weitere verbotene Praktiken gibt, die nach unserer Einschätzung aber so speziell sind, dass sie die Vielzahl der Unternehmen und Behörden in der Praxis nicht treffen werden. Hierzu zählen:
- Das Erstellen oder Erweitern von Datenbanken zur Gesichtserkennung
- Risikobewertungen im Hinblick auf etwaige künftige Straftaten
- Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme zu Strafverfolgungszwecken
Einstellen des Betriebs
Sollte bei der Prüfung festgestellt werden, dass eine verbotene KI-Praktik vorliegt, so sollte diese bis spätestens zum 2. Februar 2025 eingestellt oder so modifiziert werden, dass sie nicht mehr unter das Verbot des Art. 5 AI Act fällt. Zudem sollte geprüft werden, ob die entsprechende Praktik nicht ohnehin schon durch andere Gesetzte und Verordnungen verboten ist.
Wie geht es weiter? Klassifizieren!
Wenn man sich bis zum 2. Februar 2025 mit dem Aufstellen eines Schulungskonzepts und der Identifizierung von verbotenen KI-Praktiken beschäftigt hat, sollte man sich an die Kür wagen und mit der Vorbereitung auf den 2. August 2026 beginnen.
Hier wird es dann insbesondere darum gehen, zu klassifizieren, ob man im Sinne des AI Acts als Anbieter oder Betreiber von Hochrisiko-KI-Systemen eingestuft werden wird. In diesem Fall gelten nämlich umfangreiche Pflichten.
Mit der Klassifizierung, ob es sich bei einem KI-System um ein Hochrisiko-KI-Systemen handelt oder nicht, beschäftigen wir uns in einem der nächsten Blogbeiträge im Detail.