Nutzung der KI – die Aufsichtsbehörden geben Hinweise

Nachdem die Datenschutzaufsichtsbehörde von Baden-Württemberg (LfDI BaWü) im November letzten Jahres ein Diskussionspapier über die Rechtsgrundlagen für den Einsatz von Künstlicher Intelligenz (KI) veröffentlicht hatte (wir berichteten), hat die Konferenz der Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK) nun nachgezogen. Sie veröffentlichte die Orientierungshilfe „Künstliche Intelligenz und Datenschutz“. Diese richtet sich an Unternehmen, die KI-Modelle als Betreiber einsetzen wollen. An die Entwickler, Hersteller oder Anbieter von KI-Systemen richtet sich die Orientierungshilfe nur mittelbar.

Die DSK betont in dem Paper, dass der Leitfaden in Zukunft aktualisiert wird und kein abschließender Anforderungskatalog ist.

Die Behörden legen in ihrer Orientierungshilfe den Schwerpunkt der Betrachtung auf die sog. Large Language Models (LLM). Dies sind die in den Medien präsenten KI-Modelle wie GPT von OpenAI, Gemini von Google oder Llama von Meta (Facebook). Dabei geht es darum, Anfragen in Form von Text einzugeben und Textausgaben zu erzeugen.

Vor dem Einsatz von KI-Modellen sollten sich die Unternehmen folgenden Prozess vergegenwärtigen, um die datenschutzrechtlichen Voraussetzungen zu beachten.

Einsatzbereich und Zweck bestimmen

Um eine datenschutzrechtliche Einordnung vornehmen zu können, sei im Lichte von Art. 5 Abs. 1 lit. b DSGVO (Zweckbindung der Datenverarbeitung), zunächst zu klären, wo der Einsatz der KI stattfindet und zu welchem Zweck. So macht es datenschutzrechtlich einen Unterschied, ob eine KI die Lagerlisten in der Logistik ordnen oder in der Personalabteilung aufschlüsseln soll, welche Beschäftigten, wann wie lange krank waren und welche Prognosen sich für die Zukunft ergeben.

Dabei kann man an dieser Stelle bereits die Einsatzbereiche einer KI ausschließen, die aufgrund des Art. 5 AI Act bereits verboten sind (wir berichteten). Das betrifft z. B. Gesichtserkennungs­technologien durch ungezieltes Auslesen von Bildern (bspw. aus dem Internet) oder Techniken, die auf die Manipulation von Personen abzielen.

Es kann sein, dass zunächst Daten zu Trainingszwecken genutzt werden, die keinen Personenbezug aufweisen. Dann wäre der Anwendungsbereich der DSGVO nicht eröffnet. Allerdings ist der Personenbezug in der DSGVO ein weiter Begriff. So weist das Papier darauf hin, dass Trainingsdaten, die für die KI genutzt werden, zwar keinen Personenbezug aufweisen, durch die Weiterverarbeitung und Verknüpfung der Daten allerdings Pseudonyme entstehen können, die eine Personenbeziehbarkeit herstellen und die DSGVO einschlägig wird. Daher empfiehlt die DSK über den gesamten Lebenszyklus der Daten in der KI regelmäßig zu prüfen, ob personenbezogene Daten vorliegen.

Training ist alles

Soweit Betreiber selbst Trainingsdaten auswählen und die KI trainieren, so ist bereits an dieser Stelle zu prüfen, ob die Trainingsdaten einen Personenbezug aufweisen, so die DSK. Dazu gehört auch, dass sich Fehler in den Trainingsdaten auf die Ergebnisse auswirken können bzw. beim Training einer KI Fehler entstehen können, die sich auf die personenbezogenen Daten auswirken. In diesem Zusammenhang sei darauf hingewiesen, dass Personen nach Art. 16 DSGVO ein Recht auf Berichtigung ihrer Daten auch in KI-Modellen haben. Daher müssen Betreiber eines KI-Systems gewährleisten, dass solche Rechte wirksam umgesetzt werden können.

Datenschutzkonform erst mit einer Rechtsgrundlage

Bei jedem Verarbeitungsschritt, so die Orientierungshilfe, ist zu prüfen, ob eine Rechtsgrundlage vorliegt. Tiefer geht die DSK hier nicht auf dieses Thema ein, sondern verweist auf das Diskussionspapier des LfDI BaWü zu diesem Thema.

Der Mensch hat das letzte Wort

Die DSK hebt das Verbot der automatisierten Entscheidungsfindung ohne Beteiligung von Menschen hervor, wie Art. 22 DSGVO es postuliert. Auch ein KI-System dürfe keine Entscheidung treffen, die Wirkung für einen Menschen entfaltet, ohne dass eine andere Person sich die Letztentscheidung vorbehält. Eine formelle Beteiligung eines Menschen sei keinesfalls ausreichend.

So soll verhindert werden, dass bspw. ein Kredit mit Hinweis auf die KI, die einen schlechten Scorewert ausgegeben hat, verwehrt wird. In diesem Zusammenhang ist das EuGH-Urteil zur Schufa (wir berichteten hier und hier) daher von besonderer Bedeutung. KI-Bewertungen müssen transparent sein, um eine Letztentscheidung durch einen Menschen zu ermöglichen. Darauf wies der Hamburgische Beauftragte für den Datenschutz und die Informationsfreiheit (HmbBfDI) einem Statement hin.

Risiken offener KI-Systeme

Wichtig ist die Unterscheidung zwischen offenen und geschlossenen KI-Systemen. Geschlossen bedeutet nach der Orientierungshilfe der DSK, dass das KI-System in einer eingegrenzten und technisch abgeschlossenen Umgebung eingesetzt wird. Dies ist z. B. der Fall, wenn ein Unternehmen das KI-System ausschließlich für seine Beschäftigten zulässt und sowohl die Eingabe- als auch die Ausgabedaten beim Unternehmen verbleiben. Die eingegebenen oder durch Verarbeitung im KI-System entstehenden Daten werden für Trainingszwecke der KI nicht verwendet.

Aus datenschutzrechtlicher Sicht bieten geschlossene Systeme eine bessere Kontrolle über die Datenverarbeitung. Im Gegensatz zu einem offenen System. Dies ist dadurch gekennzeichnet, dass es über das Internet einem unbestimmten Personenkreis zugänglich ist und die Eingabedaten für das KI-System weiterverwendet werden. Die Risiken liegen hier im Kontrollverlust über die Daten und der damit verbundenen Frage, ob für die Weiterverarbeitung der Daten überhaupt eine Rechtsgrundlage besteht.

Die Orientierungshilfe kommt daher auch wenig überraschend zu dem Schluss, dass geschlossene Systeme vorzugswürdig seien.

Was geschieht mit meinen Daten? Transparenz im KI-System

Soweit personenbezogene Daten für das Training verwendet werden oder im Rahmen der Nutzung entstehen, sind die betroffenen Personen nach Art. 13 bzw. 14 DSGVO zu informieren. Dies hebt die DSK in ihrer Orientierungshilfe hervor.

Bereits in der Vergangenheit hat die italienische Aufsichtsbehörde ChatGPT vorübergehend verboten, da betroffene Personen nicht angemessen informiert worden waren. Erst nachdem OpenAI nachgebessert hatte, konnte ChatGPT in Italien wieder online gehen.

Umsetzung von Betroffenenrechten sicherstellen

Für den Bereich der LLM werden die Rechte auf Berichtigung nach Art. 16 DSGVO und Löschung nach Art. 17 DSGVO besonders interessant. Die Umsetzung dieser Rechte muss gewährleistet sein. Andernfalls liegt ein Datenschutzverstoß vor. Die DSK weist darauf hin, dass die Unterdrückung unerwünschter Ausgaben mittels nachgeschalteter Filter kein Löschen sei, es gehe aber immerhin in die richtige Richtung. Das Unterdrücken der Ausgaben wäre danach allenfalls eine Einschränkung nach Art. 18 DSGVO, was ebenfalls ein Betroffenenrecht darstellt.

Prozessschritte einer Implementierung von KI-Anwendungen

Zuletzt gibt die DSK in ihrer Orientierungshilfe noch Hinweise, an welche Punkte man aus datenschutzrechtlicher Sicht denken sollte, wenn eine KI eingesetzt werden soll. Diese Aspekte sind:

• Wer ist Verantwortlicher?
  Wenn ein Unternehmen die KI für eigene Zwecke einsetzt, ist dieses der Verantwortliche im Sinne der DSGVO. Sollte allerdings eine Unternehmensgruppe eine KI einsetzen, so werden alle Unternehmen gemeinschaftlich Verantwortliche nach Art. 26 DSGVO sein, so die DSK in der Orientierungshilfe. Ein entsprechender Vertrag, der die datenschutzrechtlichen Rechte und Pflichten der einzelnen Unternehmen regelt, ist daher innerhalb der Unternehmensgruppe zu schließen.
• Handlungsanweisung an die Beschäftigten
  Es sollten von den Verantwortlichen klare Regeln geschaffen werden, wie Beschäftigte im Arbeitsalltag die KI einsetzen dürfen. Außerdem weist die DSK darauf hin, dass die Einführung einer KI-Anwendung die Beteiligung von Betriebsräten erforderlich machen wird.
• Datenschutz-Folgenabschätzung wird die Regel sein
  Nach der DSK wird regelmäßig eine Datenschutz-Folgenabschätzung (DSFA) durchzuführen sein, da ein hohes Risiko für die betroffenen Personen bestehen könnte. Daher sollte der Anbieter einer KI verpflichtet sein, Informationen zur Durchführung einer DSFA zur Verfügung zu stellen. Dies ist regelmäßig der Fall, wenn ein Vertrag zur Auftragsverarbeitung mit dem Anbieter abgeschlossen worden ist.
• Nutzung der KI
  Sowohl bei der Eingabe als auch bei der Ausgabe verweist die DSK auf die Notwendigkeit einer Rechtsgrundlage für die rechtmäßige Datenverarbeitung und die Notwendigkeit, die betroffenen Personen nach Art. 13 DSGVO über die Datenverarbeitung zu informieren.
  Auch sei sorgfältig zu prüfen, ob anonymisierte Eingabedaten im Rahmen der KI-Nutzung auch weiterhin anonyme Ausgabedaten bleiben.
  Die Gefahr der Herstellung eines Personenbezugs sei aufgrund der Herstellung von Querbezügen aus unstrukturierten Daten besonders hoch. Soweit schützenswerte personenbezogene Daten nach Art. 9 DSGVO verarbeitet werden, ist besondere Vorsicht geboten. Als Beispiel nennt die DSK Gesundheitsdaten beim Einsatz KI-basierter Systeme in der Diagnostik. Hier müsste die KI als Medizinprodukt zugelassen sein und dem fachlichen Standard entsprechen, damit der Einsatz ohne Einwilligung der betroffenen Person auskommt. Andernfalls sei an eine Einwilligung zu denken.
• Lebenslange Prüfung der KI
  Nach der DSK wird es nicht ausreichend sein, einmal eine DSFA durchzuführen. Die KI muss kontinuierlich überwacht werden. Neben der Prüfung der Ergebnisse auf Richtigkeit vor einer Weiterverarbeitung in der KI – ansonsten besteht ein möglicher Anspruch auf Berichtigung durch die betroffenen Personen –, sei darauf zu achten, dass Ergebnisse nicht zu unzulässigen Verarbeitungen führen. Hier sei an die Erfahrungen von Amazon erinnert, deren frühe KI systematisch Frauen bei Bewerbungen benachteiligte.

Was ist sonst noch wichtig?

Beim Einsatz sollte nach der DSK folgendes beachtet werden:

• keine Verwendung privater Accounts und Geräte durch die Beschäftigten
• Eingabedaten dürfen nicht zu Trainingszwecken genutzt werden
• keine Speicherung der Eingabe-Historie
• keine Veröffentlichung der Ausgabedaten
• Gewährleistung der Datensicherheit; mit Verweis auf das Bundesamt für Sicherheit in der Informationstechnik (BSI) und deren Informationen zum sicheren Einsatz von KI.
• Schulung der Beschäftigten im Umgang mit KI

Fazit

Die Orientierungshilfe der DSK bringt einem die datenschutzrechtlichen Aspekte beim Einsatz der KI näher. Gleichwohl wird die Schwierigkeit in der Umsetzung liegen, etwa, wenn die Betroffenenrechte befolgt werden sollen. Wie in einer klaren und einfachen Sprache Informationen zur Datenverarbeitung mitgeteilt werden sollen, wird eine Herausforderung für die Unternehmen, die KI einsetzen wollen.