In den vorherigen Blogbeiträgen unserer Reihe haben wir uns mit der Frage beschäftigt, ab wann die Pflichten des AI Acts gelten.

Schulungspflichten und das Verbot bestimmter KI-Praktiken gelten ab dem 5. Februar 2025.

Wir haben zudem dargestellt, wie verbotene KI-Praktiken identifiziert werden können, damit diese rechtzeitig eingestellt oder modifiziert werden können.

Ist man mit diesen beiden Punkten durch, macht es bereits jetzt Sinn, sich mit den Pflichten zu beschäftigen, die ab dem 2. August 2026 gelten. Denn in bestimmten Fällen kann die Erfüllung der Pflichten eine längere Vorbereitungszeit benötigen.

Dabei stehen und fallen viele der Pflichten mit der Einstufung, ob es sich bei einem KI-System um ein Hochrisiko-KI-System handelt oder nicht.

Ein wichtiger Schritt ist die Klassifizierung: Hochrisiko-KI-System oder doch nicht?

Ob ein KI-System als Hochrisiko-KI-System eingestuft werden muss oder nicht, ergibt sich aus Art. 6 AI Act. Bei genauer Betrachtung kann (zumindest mit Fokus auf das Jahr 2026) Absatz 1 erst einmal außer Acht gelassen werden. Denn die dort genannten Systeme werden ausnahmsweise erst ab dem 2. August 2027 als Hochrisiko-KI-Systeme eingestuft. Das ergibt sich aus Art.  113 lit. c AI Act.

Schaut man sich Art. 6 AI Act weiter an, so wird dann in Absatz 2 geregelt, welche Systeme grundsätzlich als Hochrisiko-KI-System eingestuft werden. Der Absatz ist dabei erfreulich kurz, verweist allerdings auf einen längeren Anhang III des AI Act. Und hier findet dann auch tatsächlich die eigentliche Einstufungsarbeit statt.

Bevor wir uns nun aber diesem Anhang zuwenden, lohnt sich eine Vorschau auf Absatz 3. Denn unabhängig von Anhang III gilt ein System nicht als hochriskant, „wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.“

Das Prüfschema

Mit Blick auf den 2. August 2026 (wir klammern Art. 6 Abs. 1 AI Act aus) muss also zunächst geprüft werden, inwieweit das KI-System nach Anhang III als Hochrisiko-KI-System einzustufen ist. Unterliegt es diesem Katalog, muss weiterhin evaluiert werden, ob eine Ausnahme nach Art. 6 Abs. 3 AI Act vorliegt.

Wenden wir uns also zuerst der Frage zu, ob das KI-System nach Anhang III als Hochrisiko-KI-System einzustufen ist.

Biometrie

Als hochriskant gelten gemäß Ziffer 1 folgende Systeme:

  • Biometrische Fernidentifizierungssysteme (es sei denn, die Systeme sollen nur verifizieren, dass eine Person die ist, für die sie sich ausgibt)
  • Systeme zur biometrischen Kategorisierung von Personen anhand von sensiblen oder geschützten Attributen
  • Systeme zur Emotionserkennung mit Hilfe biometrischer KI-Systeme

Betreiber kritischer Infrastrukturen (aber längst nicht alle)

Die Ziffer 2 des Anhangs wendet sich an Betreiber Kritischer Infrastrukturen, aber längst nicht an alle. Genannt werden hier nur Betreiber kritischer digitaler Infrastrukturen und Betreiber kritischer Infrastrukturen des Straßenverkehrs,  der Wasser-, Gas-, Wärme- oder Stromversorgung. Sehr viele Sektoren, die die deutsche Kritis-Verordnung kennt, werden hier gar nicht genannt. Insbesondere der Sektor Gesundheit ist nicht von Ziffer 2 betroffen.

Und selbst wer sich in Ziffer 2 als Betreiber einer kritischen Infrastruktur wiederfindet: Angesprochen werden hier KI-Systemen, die bestimmungsgemäß als „Sicherheitsbauteile“ eingesetzt werden. Dies ist nach der Legaldefinition des Art. 3 Nr. 14 AI Act nur der Fall, wenn das KI-System eine Sicherheitsfunktion erfüllt oder dessen Ausfall oder Störung die Gesundheit und Sicherheit von Personen oder Eigentum gefährdet.

Die meisten Betreiber kritischer Infrastrukturen können als aufatmen!

Allgemeine und berufliche Bildung

Im Rahmen allgemeinen und beruflichen Bildung kann der Einsatz von KI schnell hochriskant werden. Hier wird Ziffer 3 des Anhangs relevant. Ein Augenmerk muss hier insbesondere auf Systeme gelegt werden, die

  • über Zugang, Zulassung und Zuweisung zu Bildungsangeboten,
  • zur Bewertung und Steuerung von Lernergebnissen,
  • zur Bewertung des angemessenen Bildungsniveaus oder
  • zur Überwachung und Erkennung von verbotenem Prüfungsverhalten

verwendet werden sollen.

Einsatz von KI im Beschäftigungsverhältnis

In Ziffer 4 des Anhangs geht es um den Einsatz von KI im Beschäftigungsverhältnis. Als Hochrisiko-KI-System gelten

  • Systeme zur Einstellung und Auswahl von Beschäftigten (inklusive der gezielten Schaltung von Stellenanzeigen),
  • Systeme zur Unterstützung bei Entscheidungen, die die Bedingung von Arbeitsverhältnissen, Beförderung, Kündigung beeinflussen,
  • Systeme zur Zuweisung von Aufgaben aufgrund von individuellem Verhalten oder persönlichen Merkmalen und Eigenschaften oder
  • zur Beobachtung oder Bewertung von Leistung und Verhalten in Beschäftigungsverhältnissen

Zugang zu bestimmten Leistungen und Angeboten

Ziffer 5 regelt schließlich den Zugang und die Inanspruchnahme grundlegend privater und grundlegend öffentlicher Dienste und Leistungen. Hier wird der Einsatz von KI hochriskant, wenn es um die folgenden Systeme geht:

  • Systeme zur Antragsbearbeitung von Behörden, sofern Ansprüche und Leistungen gewährt werden sollen
  • Systeme zur Prüfung der Kreditwürdigkeit und Bonitätsbewertung (Ausnahmen gelten für Systeme zur Aufdeckung von Finanzbetrug)
  • Systeme zur Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen
  • Systeme zur Klassifizierung von Notrufen, zur Priorisierung des Einsatzes von Not- und Rettungsdiensten, zu Triage-Entscheidungen im Rahmen der Notfallversorgung.

Die restlichen Regelungen der Ziffern 6 bis 8 betreffen Strafverfolgungsbehörden, Behörden, die sich um Migration, Asyl und Grenzkontrolle kümmern, Justizbehörden sowie Systeme, die Rechtspflege und demokratische Prozesse unterstützen.

Zwischenergebnis: Die Anzahl der Hochrisiko-KI-Systeme ist vielleicht geringer als auf den ersten Blick gedacht

Wer bislang dachte, dass ein KI-System schon deshalb als Hochrisiko-KI-System zu klassifizieren ist, weil es Gesundheitsdaten verarbeitet, der wird enttäuscht bzw. kann aufatmen. Denn die strengen Pflichten des AI Acts für Hochrisiko-KI-Systeme werden in einem ersten Schritt vermutlich eine noch relativ überschaubare Anzahl an KI-Systemen betreffen. Zwar kann sich dies in Zukunft noch ändern, da der AI Act ausdrücklich vorsieht, dass die Liste des Anhangs III noch erweitert werden kann. Hier muss allerdings die weitere Entwicklung abgewartet werden. Nicht unterschlagen wollen wir an dieser Stelle aber auch, dass wir Art. 6 Abs. 1 AI Act bewusst erst einmal außen vorgelassen haben. Seine Wirksamkeit tritt erst zum 2. August 2027 ein. Hier werden dann aber eine ganze Reihe an Produkten möglicherweise als Hochrisiko-KI-Systeme gelten – unter anderem auch Medizinprodukte, wie sich aus Anhang I zum AI Act ergibt.

Hier finden Sie alle Beiträge unserer AI Act- Reihe.

Update 06.08.2024

Wir haben bzgl. der Betreiber Kritischer Infrastrukturen unter Ziffer 2 des Anhangs eine Konkretisierung vorgenommen.