Olympia im Lichte der KI – ein Gedankenspiel

Die Olympischen Spiele und Paralympics sind ein Großereignis, zu dem mehr als 15 Millionen Menschen in Paris erwartet worden waren (tatsächlich sind es wohl weniger gewesen). Die politische Lage auf der Welt hatte dazu geführt, dass Frankreich nach dem Anschlag in Moskau im März dieses Jahres die höchste Terrorwarnstufe ausgerufen hatte und um Hilfe für die Olympia-Sicherheit bat.

KI-gestützte Videoüberwachungssysteme bei Großveranstaltungen

Um die Sicherheit zu gewährleisten, sollte auch Videoüberwachung zum Einsatz kommen. Dies ist für die Olympiade nicht ungewöhnlich. Die französische Regierung hat allerdings eine Anpassung ihres Sicherheitsgesetzes vorgenommen, die es ermöglicht, dass Aufnahmen von Überwachungssystemen, wie Videokameras oder Drohnen, von Algorithmen verarbeitet werden dürfen.

Art. 7 des Gesetzes sieht vor, dass „bis zum 30. Juni 2025 versuchsweise und ausschließlich zur Gewährleistung der Sicherheit von Sport-, Freizeit- oder Kulturveranstaltungen, die aufgrund ihrer Größe oder ihrer Umstände besonders anfällig für Terroranschläge oder schwere Beeinträchtigungen der Sicherheit von Personen sind, Bilder, die mithilfe von Videoüberwachungssystemen erfasst wurden […], verarbeitet werden können, die ein System der künstlichen Intelligenz umfassen.“

Der Zweck der Verarbeitung liege darin, so heißt es im Art. 7 weiter, in Echtzeit vorab festgelegte Ereignisse zu erkennen, die diese Risiken darstellen oder offenbaren können, und diese zu melden, damit Polizei, Rettungsdienste, Feuerwehr und Sicherheitsdienste erforderliche Maßnahmen ergreifen können.

Weiter heißt es, dass den verarbeiteten Daten kein biometrisches Identifizierungssystem zugrunde liegt und keine Techniken zur Gesichtserkennung eingesetzt werden. Auch ein automatisierter Abgleich mit anderen Daten ist nicht erlaubt. Es soll ausschließlich eine Aufmerksamkeitsmeldung abgegeben werden, die sich strikt auf die Angabe des vorbestimmten Ereignisses beschränkt, zu deren Erkennung sie programmiert wurde. Solche Meldungen könnten sich etwa auf herrenlose Koffer oder falsch geparkte Fahrzeuge beziehen. Das System soll danach nur die Aufmerksamkeit von Sicherheitskräften erregen, die dann die Meldung danach bewerten, ob eine Bedrohung vorliegt oder nicht.

Bei einem lernenden KI-System muss sichergestellt werden, dass die verwendeten Daten relevant, angemessen und repräsentativ sind. Die Datenverarbeitung soll fair und objektiv sein, um Verzerrungen und Fehler zu vermeiden. Die Daten müssen während der gesamten Verarbeitung zugänglich und geschützt sein. Zudem muss die Funktionsweise des Systems nachvollziehbar sein und der Entwickler des Systems muss eine vollständige Dokumentation bereitstellen.

In dem Dekret wird auch eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO verlangt. Sie muss den Nutzen und die Risiken des Systems darlegen sowie Maßnahmen zur Risikominimierung aufzeigen. Der Staat entwickelt oder erwirbt das System, das bestimmte Anforderungen erfüllen muss wie die Rückverfolgbarkeit und die Möglichkeit, den Betrieb jederzeit einzustellen. Die Genehmigung zur Nutzung erfolgt durch den staatlichen Vertreter und die Durchführung des Systems wird regelmäßig überwacht. Die Ergebnisse des Experiments werden an die zuständigen Behörden und das Parlament berichtet.

Der Rechtsausschuss der französischen Nationalversammlung hat dem Gesetzentwurf zugestimmt, allerdings die Laufzeit bis zum 24. Dezember 2024 verkürzt.

In der Praxis sollte eine algorithmische Videoüberwachung (AVS) Aufnahmen von Tausenden Überwachungskameras in Echtzeit sichten und einschätzen. Dazu wurde eine Softwarelösung von vier Unternehmen (Videtics, Orange Business, ChapsVision und Wintics) entwickelt, die Algorithmen darauf trainiert haben, „abnormales Verhalten“ zu erkennen (herrenloser Gegenstand, Fahrzeug, welches gegen Verkehrsregeln verstößt).

38 NGOs haben in einem offenen Brief erhebliche Kritik an der Videoüberwachung geübt. Sie kritisieren die Algorithmen gesteuerte Videoüberwachung vor allem als unverhältnismäßig.

Legt man nun die Verordnung über künstliche Intelligenz (KI-VO) der EU zugrunde, die am 1. August 2024 in Kraft getreten ist, aber grundsätzlich erst ab dem 2. August 2026 gilt, (einige Teile der KI-VO gelten aber schon früher, so gelten z. B. die Regelungen für verbotene Praktiken bereits ab dem 2. Februar 2025, dazu gleich mehr), stellt sich die Frage, ob die von Frankreich vorgenommene Videoüberwachung, die über die Olympischen Spiele hinaus bis Juni 2025 durchgeführt werden soll, Bestand haben kann.

Damit überhaupt die KI-VO zur Anwendung kommen kann, stellt sich als Erstes die Frage; wann liegt Künstliche Intelligenz im Sinne der KI-VO vor? ErwGr. 12 der KI-VO gibt dazu eine Beschreibung. Grob gesagt, ist KI ein System, das unabhängig von menschlichem Zutun agieren kann und in der Lage ist, ohne menschliches Eingreifen zu arbeiten. Außerdem muss es eine Selbstlernfähigkeit besitzen, die dazu führt, sich während der Verwendung verändern zu können. Außerdem muss es zu eigenen Ergebnissen bei der Datenverarbeitung kommen.

Eine Aufmerksamkeitsmeldung setzt voraus, dass der Algorithmus zunächst so trainiert wurde, dass er in der Lage ist, eigenständig eine Aufmerksamkeitsmeldung abzusetzen. Dies scheint daher ein KI-System zu sein, welches unter die Anwendung der KI-VO fällt. Auch benennt der Art. 7 ausdrücklich Systeme künstlicher Intelligenz, sodass von der Anwendbarkeit der KI-VO auszugehen ist.

Der nächste Schritt im Rahmen der KI-VO ist die Erörterung, welche Rolle der Staat Frankreich beim Einsatz der Videoüberwachung einnimmt. Die KI-VO beschreibt mehrere Akteure (siehe Art. 3 KI-VO), die wichtig sind, wobei zwei Rollen in der Praxis hervorzuheben sein werden: Anbieter und Betreiber. Je nachdem, welche Rolle man innehat, ergeben sich verschiedene Rechte und Pflichten aus der KI-VO.

Der Anbieter entwickelt oder lässt ein KI-System entwickeln und nutzt es selbst oder bringt es auf den Markt (egal, ob entgeltlich oder unentgeltlich). Der Betreiber hingegen verwendet ein KI-System in eigener Verantwortung.

Die oben genannten Unternehmen, wie ChapsVision, bieten entsprechende KI-Systeme auf dem europäischen Binnenmarkt an. Sie wären daher als Anbieter nach der KI-VO zu klassifizieren. Der französische Staat setzt das System ein und wäre damit Betreiber nach der KI-VO.

Bevor es zum Einsatz einer KI kommt, muss aber zunächst geklärt werden, ob der Einsatz nach der KI-VO überhaupt rechtmäßig wäre. Dazu wiederum ist zunächst zu unterscheiden, ob es sich um ein KI-System oder ein KI-Modell handelt.

• Das KI-System stellt das komplette Produkt dar. Es ist die Hardware, die ein oder mehrere KI-Modelle enthält, um zusammen mit allen anderen notwendigen Komponenten, um das System in einer realen Umgebung funktionsfähig zu machen. Solche KI-Systeme können autonome Fahrzeuge, Sprachassistenten oder medizinische Diagnose-Systeme sein.
• Das KI-Modell ist der mathematische oder algorithmische Kern des KI-Systems, das durch maschinelles Lernen oder andere Techniken trainiert wurde, um spezifische Aufgaben zu erfüllen. Das Modell ist ein zentraler Bestandteil des KI-Systems, welches die eigentliche „Intelligenz“ verkörpert. KI-Modelle können z. B. Convolutional Neural Networks (CNN) (Verwendung in medizinischen Diagnosesystemen, um Tumore zu identifizieren) oder Recurrent Neural Networks (RNN) (Verwendung in Sprachassistenten) sein.

Hier soll ein Videoüberwachungssystem mit einer Software kombiniert werden. Die Algorithmen sind von den genannten Unternehmen trainiert, vorher festgelegte „Ereignisse“ und abnormales Verhalten zu erkennen und entsprechende Warnungen zu senden, wie Reuters berichtet.

Ein Videoüberwachungssystem mit einem trainierten Algorithmus ist ein KI-System. Der trainierte Algorithmus (das KI-Modell) ist lediglich ein Teil dieses gesamten Systems und übernimmt die spezifische Aufgabe der Bild- oder Videoanalyse.

Erste Stufe der Prüfung eines KI-Systems

Auf der ersten Stufe ist zu prüfen, ob der beabsichtigte Einsatz einer KI eine verbotene Praktik nach Art. 5 KI-VO ist. Hier werden KI-Systeme genannt, deren Einsatz ausdrücklich verboten ist.

Dazu gehört u. a. der Einsatz von Echtzeit-Fernidentifizierungssystemen. Darunter fällt die Gesichtserkennung im öffentlichen Raum. Allerdings schließt das Dekret den Einsatz solch eines Systems kategorisch aus. Ebenso darf es kein System sein, welches biometrische Daten verarbeitet.

Es scheint, dass das Dekret die Regelungen des Art. 5 KI-VO vor Augen hatte und den Einsatz möglicher verbotener Praktiken für die Zukunft ausschließen wollte.

Die NGOs kritisieren den Art. 7, der zwar behaupte, keine biometrischen Daten zu verarbeiten, lege man allerdings die Definition aus Art. 4 Nr. 14 DSGVO zugrunde, lägen biometrische Daten vor. Wenn der Zweck von Algorithmus gesteuerten Kameras darin bestehe, bestimmte verdächtige Ereignisse in öffentlichen Räumen zu erkennen, würden sie zwangsläufig physiologische Merkmale und Verhaltensweisen von Personen erfassen und analysieren, z. B. ihre Körperhaltung, ihren Gang, ihre Bewegungen, ihre Gesten oder ihr Aussehen. Die Isolierung von Personen, ohne die es unmöglich wäre, das Ziel des Systems zu erreichen, werde auf eine „eindeutige Identifizierung“ hinauslaufen.

Folgt man der Argumentation, dann läge sogar eine verbotene Praktik vor, die nur in engen Ausnahmenfällen erlaubt ist. In Betracht käme Art. 5 Abs. 1 lit. h – ii KI-VO, wenn es um die Abwendung einer tatsächlichen und bestehenden bzw. vorhersehbaren Gefahr eines Terroranschlags geht. Allerdings setzt dies nach dem Wortlaut zumindest voraus, dass es konkrete Hinweise für einen Terroranschlag gibt. Davon war aber nichts vor oder während der Olympischen Spiele bekannt, sodass diese Ausnahme einer verbotenen Praktik nicht einschlägig wäre. Folgt man der Auffassung der NGOs, dann wäre schon an dieser Stelle der Einsatz rechtswidrig.

Geht man aber mit Art. 7 davon aus, dass keine Verarbeitung biometrischer Daten erfolgt und auch kein Fernidentifizierungssystem eingesetzt wird, schließt sich der nächste Prüfungsschritt an.

Zweite Stufe der Prüfung eines KI-Systems

Auf der zweiten Stufe ist zu prüfen, ob ein sog. Hochrisiko-KI-System nach Art. 6 Abs. 2 KI-VO vorliegt. Diese Norm verweist auf den Anhang III der KI-VO. Dieser nennt KI-Systeme, die als hochriskant gelten. Dazu gehört in Nr. 6 der Einsatz zur Strafverfolgung. Nach Nr. 6 lit. a des Anhangs III liegt ein Hochrisiko KI-System vor, wenn es bestimmungsgemäß von Strafverfolgungsbehörden zur Bewertung des Risikos einer natürlichen Person, zum Opfer von Straftaten zu werden, verwendet werden sollen. Dabei ist nach Art. 3 Nr. 45 KI-VO unter Strafverfolgungsbehörde auch eine Behörde zur Verhütung von Straftaten zu verstehen, einschließlich der Abwehr von Gefahren für die öffentliche Sicherheit. Der Begriff ist weiter gefasst als man es im deutschen Recht gewöhnt ist, wo der Polizei die Gefahrenabwehr und der Staatsanwaltschaft die Strafverfolgung zugeordnet ist, die sich zur Durchsetzung auch der Polizei bedienen kann.

Legt man allerdings den Inhalt des Dekrets zugrunde, so soll ausschließlich eine Aufmerksamkeitsmeldung abgegeben und keine Strafverfolgung begründet werden. Wir befinden uns danach also im Bereich der Gefahrenabwehr. Nach der weiten Definition zur Strafverfolgungsbehörde ist es hier somit zunächst zweitrangig, welche Art von Behörde das System einsetzt. In jedem Fall wird es eine Sicherheitsbehörde sein.

Allerdings stellt Nr. 6 lit. a des Anhangs III darauf ab, dass Sicherheitsbehörden das KI-System dazu einsetzen, um zu analysieren und zu prognostizieren wie wahrscheinlich es ist, dass eine bestimmte Person Opfer einer Straftat wird. Das Ziel ist es, präventiv handeln zu können, um potenzielle Straftaten zu verhindern.

Nach der Beschreibung im Art. 7 des Dekrets geht es allerdings nicht darum, bestimmte Personen und deren Opferrisiken zu analysieren, sondern darum, dass herrenlose Gegenstände oder andere „verdächtige“ Objekte oder Verhaltensweisen von Personen vorliegen.

Daher scheint dieser hier skizzierte Fall und andere Fälle aus Anhang III nicht vorzuliegen. Ein Sicherheitsbauteil soll das KI-System ebenfalls nicht sein, wie es Art. 6 Abs. 1 KI-VO als alternative Voraussetzung für ein Hochrisiko-KI-System fordert.

Daher kann man zu dem Ergebnis kommen, dass das KI-System kein Hochrisiko-KI-System nach Art. 6 KI-VO darstellt.

Kein Hochrisiko-KI-System nach Art. 6 KI-VO

Wenn es allerdings kein Hochrisiko-KI-System ist, bleibt noch Art. 95 KI-VO, der Regelungen für Anbieter von KI-Systemen ohne hohes Risiko vorsieht. Dieser sieht allerdings nur vor, dass bestimmte Pflichten bei der Entwicklung von Hochrisiko-KI-Systemen freiwillig eingehalten werden.

Dazu gehört insbesondere ein Risikomanagementsystem, welches für die Lebensdauer des KI-Systems kontinuierlich Risiken für die Gesundheit, Sicherheit oder Grundrechte betroffener Personen ermitteln, analysieren und am Ende ermöglichen soll, die Risiken zu minimieren. Ferner gibt es eine Vielzahl von Dokumentationspflichten, wie die Dokumentation des Prozesses der Erhebung und Aufbereitung von Trainings-, Validierungs- und Testdatenätzen, die technische Dokumentation, die Protokollierung der Ereignisse während des Einsatzes des KI-Systems oder die Bereitstellung einer Anleitung. Daneben bestehen auch Informationspflichten beim Einsatz des KI-Systems und die Pflicht einer wirksamen menschlichen Aufsicht. All diese Pflichten bestehen bei KI-Systemen ohne Hochrisiko auf freiwilliger Basis.

Der Adressat dieser freiwilligen Verpflichtung ist der Anbieter des KI-Systems, also in diesem Fall sind es die Unternehmen, die das System entwickeln und zur Verfügung gestellt haben.

Da das KI-Modell Teil des KI-Systems ist, stellt sich noch die Frage, ob sich daraus weitere Verpflichtungen zumindest für die Unternehmen ergeben, die den Algorithmus entwickelt und trainiert haben.

Soweit hier ein KI-Modell anzunehmen ist, hat der Anbieter Verpflichtungen nach Art. 53 bzw. 55 KI-VO zu befolgen. Voraussetzung ist allerdings, dass es ein KI-Modell mit allgemeinem Verwendungszweck ist. Hierzu gibt Art. 3 Nr. 63 KI-VO eine Definition vor. Im Kern liegt ein solches KI-Modell vor, wenn es eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, ein breites Spektrum unterschiedlicher Aufgaben erfüllen kann und in eine Vielzahl nachgelagerte Systeme oder Anwendungen integriert werden kann. Beispiele für solche KI-Modelle sind GPT (Textgenerierung, Konversationsmodelle und Übersetzungen), BERT (Frage-Antwort-Systeme) oder YOLO (Echtzeit-Objekterkennung in Bildern und Videos).

Der Einsatz bei solchen KI-Modellen ist nicht von vornherein bestimmt, sondern kann eine Vielzahl von Aufgaben erledigen. Soweit es um die Beschreibung des hier eingesetzten Algorithmus geht, soll dieser nur bestimmte Verhaltensweisen oder Objekte erkennen können. Es scheint Elemente von YOLO zu beinhalten, allerdings ist aus der Pressebeschreibung nicht erkennbar, dass er einen allgemeinen Verwendungszweck haben soll. Daher werden Verpflichtungen aus Art. 53 bzw. 55 KI-VO nicht einschlägig sein.

Fazit

Die NGOs hatten erhebliche Kritik am Einsatz des Videosystems geübt. Leider lassen die öffentlichen Quellen keinen hinreichenden Schluss darauf zu, ob nun tatsächlich biometrische Daten verarbeitet werden oder nicht. Die Regierung schließt dies aus. Hier steht also Aussage gegen Aussage.

Der Fall macht deutlich, wie wichtig die genaue Erarbeitung des Einsatzzweckes eines KI-Systems ist und wie genau dieser erreicht werden soll.

Spätestens mit der Gültigkeit der KI-VO für verbotene Praktiken ab dem 2. Februar 2025 wird dieses Thema in Frankreich wieder an Brisanz gewinnen, wenn die Videoüberwachung doch noch über das Jahr 2024 hinaus verlängert werden sollte.