Der Einsatz von KI-Systemen mit allgemeinem Verwendungszweck – Was ist zu beachten?

Auf der Seite des deutschen Bundestags ist ein Infobrief zu rechtlichen Vorgaben der Verordnung über Künstliche Intelligenz (KI-VO) für den Einsatz von KI in Behörden der EU-Mitgliedstaaten veröffentlicht worden. Dieser Infobrief behandelt Fragestellungen in Bezug auf die KI-VO und schlussfolgert Konsequenzen für den Einsatz von KI-Systemen in Behörden. Der Infobrief thematisiert zwar den Einsatz von KI in Behörden, die dort genannten Aspekte sind aber an den meisten Stellen nicht auf Behörden beschränkt.

Das letzte Kapitel dieses Infobriefs geht auf die beispielhafte Nutzung eines KI-Systems mit allgemeinem Verwendungszweck ein und listet auf, was dabei zu beachten ist. Im Folgenden werden wir uns diese Hinweise einmal genauer anschauen und diese auch um eigene Erfahrungen erweitern.

Zur Erinnerung: Ein KI-System mit allgemeinem Verwendungszweck ist ein KI-System, das auf einem KI-Modell mit allgemeinem Verwendungszweck (General Purpose Artificial Intelligence – GPAI) beruht. Was ein KI-Modell mit allgemeinem Verwendungszweck ausmacht, damit hatten wir uns in diesem Artikel bereits beschäftigt.

Konkret geht der Infobrief auf verbotene KI-Praktiken (Art. 5 KI-VO), Anforderungen an Hochrisiko-KI-Systeme (Art. 8 ff. KI-VO), Transparenzpflichten (Art. 50 KI-VO) sowie die KI-Kompetenz (Art. 4 KI-VO) ein. [Hinweis: Die Vorgaben unterliegen unterschiedlichen Umsetzungsfristen und noch nicht alle Pflichten müssen zum jetzigen Zeitpunkt schon vollständig eingehalten werden. Welche Pflichten schon heute eingehalten werden müssen, kann hier und hier nachgelesen werden.]

Verbotene KI-Praktiken

Zur besseren Einordnung, was verbotene KI-Praktiken sind, wird an dieser Stelle auf unseren Artikel zur Klassifizierung von KI-Systemen verwiesen.

Der Infobrief verweist auf Kapitel 2.7. der Leitlinien zu verbotenen KI-Praktiken, die von der Europäischen Kommission veröffentlicht worden sind, um die Auslegung der KI-VO in Bezug auf diese Thematik zu erleichtern. Dort weist die Kommission darauf hin, dass die Verbote für alle KI-Systeme gelten und dies insbesondere auch unabhängig davon ist, ob das KI-System für einen bestimmten Zweck oder für allgemeine Zwecke entwickelt worden ist. Für Betreiber von KI-Systemen mit allgemeinem Verwendungszweck heißt dies, dass diese ggf. auch selbst sicherstellen müssen, dass das entsprechende KI-System von den Beschäftigten nicht auf verbotene Art genutzt wird. Durch den breiten Anwendungsbereich von KI-Systemen mit allgemeinem Verwendungszweck würde bei vielen Systemen theoretisch die Möglichkeit bestehen, diese zu verbotenen Zwecken einzusetzen. Zwar besteht laut Kommission die Erwartung, dass Anbieter dieser KI-Systeme Maßnahmen ergreifen, um solche Nutzungen zu verhindern oder einzudämmen, der Anbieter ist aber diesbezüglich nicht verantwortlich für die Nutzung durch den Betreiber. Sofern der Anbieter des KI-Systems Sicherheitsplanken eingerichtet hat, die verbotene KI-Praktiken verhindern sollen, dürfen diese entsprechend auch nicht umgangen werden.

Die Leitlinien widmen sich darüber hinaus aber nicht näher der Frage, wie der Betreiber sicherstellen kann, dass keine verbotenen KI-Praktiken angewandt werden. In dem Infobrief wird daher insbesondere darauf verwiesen, dass zu dokumentierende Schulungen durchgeführt und eine interne Nutzungsrichtlinie erstellt werden sollten. Diese interne Nutzungsrichtlinie sollte dabei nicht nur generisch auf die einschlägigen Vorschriften aus der KI-VO eingehen, sondern konkrete, relevante Szenarien der Behörde berücksichtigen.

Die Maßnahmen konzentrieren sich hier entsprechend auf Kompetenzbildung durch Schulungen und interne Richtlinien. Mit der Notwendigkeit einer KI-Richtlinie hatten wir uns im Artikel „Warum Unternehmen und Organisationen eine KI-Richtlinie brauchen“ bereits näher befasst, in welchem wir explizit auf die Notwendigkeit des Verbots verbotener KI-Praktiken hinweisen.

Hochriskante KI-Praktiken

Zur besseren Einordnung, was hochriskante KI-Praktiken sind, wird an dieser Stelle auf unseren Artikel „AI Act: Hochrisiko-KI-Systeme – Jetzt klassifizieren“ verwiesen.

a) Ausschluss der Nutzung im Hochrisiko-Bereich

Der einfachste Weg den Pflichtenkatalog der hochriskanten KI-Praktiken zu umgehen, wäre es, hochriskante KI-Praktiken zu verbieten. Dies ist auch der Ansatz, den wir vorrangig inder KI-Richtlinie erfolgen, die wir für unsere Kunden erstellen. In unserer Richtlinie würde der Einsatz hochriskanter KI-Praktiken zumeist verboten werden. Um sicherzustellen, dass den Beschäftigten auch klar ist, was hochriskante KI-Praktiken sind, sollte dies sowohl in der zu erstellenden Unternehmensrichtlinie als auch über die KI-Kompetenz-Schulungen erklärt werden.

b) Nutzung im Hochrisiko-Bereich zulassen

Nun gibt es aber Bereiche, in denen es nicht sinnvoll ist, die Nutzung im Hochrisiko-Bereich zu verbieten. Dann sollte aber auch klar sein, dass mit der Nutzung der KI im Hochrisiko-Bereich sämtliche Betreiberpflichten (Art. 26 f. KI-VO) für diesen Bereich zu erfüllen sind. Schon der damit einhergehende Pflichtenkatalog sollte nicht unterschätzt werden.

Nun verweist der Infobrief aber auch auf eine Besonderheit in Bezug auf GPAI-Systeme, die dazu führen kann, dass neben der Betreiberrolle auch die Anbieterrolle eingenommen wird. GPAI-Systeme zeichnen sich dadurch aus, dass diese einen allgemeinen Verwendungszweck haben. Somit haben diese eben keinen spezifischen Verwendungszweck und sind insbesondere nicht für hochriskante Zwecke gedacht. Dies wird in vielen Fällen dazu führen, dass eine Nutzung zu hochriskanten Zwecken einer Zweckänderung entspräche. Dies gilt zumindest solange das KI-System nicht bereits zuvor als hochriskant eingestuft wurde, was bei KI-Systemen mit allgemeinem Verwendungszweck meist der Fall ist. Dies führt gemäß Art. 25 Abs. 1 lit. c KI-VO dazu, dass der Betreiber auch zum Anbieter wird und auch die Pflichten für den Anbieter zu erfüllen hat. Dies erweitert den Pflichtenkatalog um die Vorschriften des Artt. 16 ff. KI-VO. Das Informationsblatt verweist diesbezüglich auf einen damit einhergehenden erheblichen Kostenaufwand und Haftungsrisiken. Diese Entscheidung sollte entsprechend gut überlegt sein.

 Transparenzpflichten

Der Infobrief geht davon aus, dass sofern den Mitarbeitenden ein GPAI-System eines Drittanbieters zur Nutzung bereitgestellt wird, nur die Pflichten des Art. 50 Abs. 4 KI-VO relevant wären. Es wird dann davon ausgegangen, dass die Betreiberrolle eingenommen wird. Der Infobrief verfügt über ein eigenes Kapitel zu den Transparenzpflichten, auf welches im Folgenden verkürzt eingegangen wird.

Die Anwendung des Art. 50 Abs. 4 KI-VO würde bedeuten, dass sofern mit dem KI-System Bild-, Ton- oder Videoinhalte generiert oder manipuliert werden, die als Deepfake zu klassifizieren sind, diese entsprechend gekennzeichnet werden müssen. Bei einem Deepfake handelt es sich gemäß Art. 3 Nr. 60 KI-VO um „einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde“.   Ursache der Regelung ist laut Infobrief der technische Fortschritt, der dazu beigetragen hat, dass sich realistisch aussehende Fotos-, Video- und Audioaufnahmen stark verbreitet haben und dies auch zu negativen Auswirkungen wie bspw. Desinformation beitragen kann (vgl. Kumkar/Griesel, Transparenzpflichten für Deepfakes und synthetische Medieninhalte in der KI-VO, KIR 2024, S. 118).

Um die Kennzeichnung umzusetzen, verweist der Infobrief auf den Vorschlag der Nutzung von Content Credentials. Bei Content Credentials „handelt es sich um digitale Informationen, die an ein digitales Medium (z. B. Bild, Video, Audio, Text) angehängt werden, um Herkunft, Urheberschaft, Bearbeitungsschritte und Authentizität nachvollziehbar zu machen“ (Vgl. Müller/Wigand, Infobrief – Zu rechtlichen Vorgaben der Verordnung über Künstliche Intelligenz für den Einsatz von KI in Behörden der EU-Mitgliedsstaaten, EU 6 – 3010 – 032/25, Deutscher Bundestag – Unterabteilung Europa, Fachbereich Europa). In dem Infobrief wird hierzu auf die Verwendung des offenen Standards der Coalition for Content Provenance and Authenticity (C2PA)   verwiesen.

Ob sich hier ein bestimmter Standard durchsetzen wird, wird sich wohl erst noch zeigen. Die KI-VO schreibt jedenfalls keinen Standard explizit vor.

Zudem müssten KI-generierte oder manipulierte Texte, die die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse informieren sollen, entsprechend gekennzeichnet werden. Der Infobrief verweist aber auch darauf, dass die KI-VO selbst nicht näher erläutert, wann eine Angelegenheit von öffentlichem Interesse gegeben ist. Im Infobrief wird davon ausgegangen, dass hierfür insbesondere der Adressatenkreis und der Inhalt des Texts maßgeblich sein sollten. In Bezug auf den Adressatenkreis sollte dieser nicht nur ein überschaubarer Kreis sein und in Bezug auf den Inhalt dürften alle Themen erfasst sein, die Relevanz für die öffentliche Meinungsbildung haben könnten. In dem Infobrief wird dabei auch auf das Schrifttum verwiesen, das davon ausgeht, dass darunter politische, gesellschaftliche, wirtschaftliche und kulturelle Angelegenheiten fallen, die über ein kleines Fachpublikum hinauswirken (Vgl. Martini, in: Martini/Wendehorst, Verordnung über künstliche Intelligenz, 1. Auflage 2024, Art. 50 KI-VO, Rn. 113).

Die Kennzeichnungspflicht für Texte kann nach Art. 50 Abs. 4 UA. 2 S. 2 KI-VO entfallen, wenn die Inhalte einem „Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt“.

In Bezug auf die konkrete Kennzeichnung wird in dem Infobrief darauf verwiesen, dass explizite Hinweise im Text oder in der Fußnote erfolgen könnten, Symbole oder Labels verwendet werden könnten oder Einträge in den Metadaten erfolgen könnten.

Wie die Einhaltung dieser Transparenzpflichten ansonsten pragmatisch sichergestellt werden kann, dazu hält sich der Infobrief zurück. Hier kann allerdings auch nur auf die Regelung dessen in der Richtlinie und die Thematisierung in Schulungen verwiesen werden. Es empfiehlt sich zudem, konkrete Vorgaben zur Umsetzung zu machen, um eine Einheitlichkeit der Kennzeichnung zu gewährleisten.

Über die Betreiber-Transparenzpflichten hinausgehend, verweist der Infobrief außerdem auch auf Seite 40 aus dem Bitkom-Leitfaden zur KI-VO. Dort wird darauf hingewiesen, dass die Vornahme von wesentlichen Änderungen an einem bestehenden KI-System dazu führen kann, dass auch die Anbieterrolle eingenommen wird. Für Hochrisiko-Systeme ist dies in Art. 25 KI-VO ausdrücklich geregelt (siehe oben), für die sonstigen Systeme könnte sich dies aber auch aus der Definition der Anbieterrolle ergeben. Dann könnten Art. 50 Abs. 1 und 2 KI-VO ebenfalls von Relevanz sein und es muss sichergestellt werden, dass auch das KI-System selbst und dessen Ausgaben bereits systemseitig eindeutig als KI-Inhalte erkennbar sind.

KI-Kompetenz

In Bezug auf die KI-Kompetenz verweist der Infobrief auf die FAQ der Kommission zu Art. 4 KI-VO.

Darüber hinaus wird betont, dass die Mitarbeitenden über die Risiken, die mit dem Einsatz des KI-Systems einhergehen, aufgeklärt werden sollen. Als Beispiel werden dabei „KI-Halluzinationen“ genannt. Es ist korrekt, dass im Zuge der KI-Kompetenz insbesondere über KI-spezifische Risiken aufgeklärt werden soll. Aus den FAQ ergibt sich darüber hinaus aber auch, dass es ebenfalls darum geht ethische und rechtliche Aspekte zu vermitteln. Auch um oben genannte Anforderungen zu erfüllen, ist es entsprechend von Bedeutung, dass die Mitarbeitenden wissen, welche KI-Praktiken verboten oder hochriskant sind und wann welche Transparenzpflichten auf welche Art und Weise einzuhalten wären.

 Weitere Aspekte

Aus Sicht der KI-Verordnung sind damit alle relevanten Aspekte angesprochen. Aber es sollten auch andere Rechtsgebiete nicht außer Acht gelassen werden. Der Infobrief verweist hier insbesondere auf das Datenschutzrecht und das Urheberrecht. In unserem Artikel „Warum Unternehmen und Organisationen eine KI-Richtlinie brauchen“ haben wir uns auch mit diesen Aspekten beschäftigt.

Ein Aspekt, der der Vollständigkeit halber aber ebenfalls erwähnt werden sollte, ist der Hinweis auf mögliche spezialgesetzliche Regelungen im Hinblick auf KI-Systeme. Es sollte also konkret geprüft werden, ob es bei spezifischen Einsatzfeldern zulässig ist, entsprechende Aufgaben durch ein KI-System erledigen zu lassen. Beispielsweise würde für Behörden, sofern diese vollautomatisierte Verwaltungsakte erlassen wollen, der § 35a VwVfG zu beachten sein.

Sofern das Gesamtpaket obiger Anforderungen berücksichtigt wird, steht dem Einsatz von KI-Modellen mit allgemeinem Verwendungszweck nun nichts mehr im Weg.