Intelligente tutorielle Systeme (ITS) – Chance oder Risiko für Schulen? (Teil 2)

Nachdem wir uns im ersten Teil dieser Reihe mit der datenschutzrechtlichen Verantwortlichkeit und der Rechtsgrundlage beim Einsatz von ITS beschäftigt haben, beleuchten wir in diesem zweiten Teil weitere Themenschwerpunkte, die beim Einsatz von intelligenten Lernplattformen in Schulen berücksichtigt werden müssen.

Auftragsverarbeitung

Oft wird die Lernplattform nicht von der Schule selbst betrieben, gehostet und gewartet, sondern von einem externen Systemanbieter. In einem solchen Fall kann der Einsatz der Lernplattform durch eine Auftragsverarbeitung realisiert werden. Diese zeichnet sich durch die Weisungsgebundenheit des Dienstleisters gegenüber dem Verantwortlichen aus. Der Dienstleister kann deshalb nicht selbst Verantwortlicher gemäß Art. 4 Nr.7 DSGVO sein. Der Auftragsverarbeitung liegt ein entsprechender Vertrag zugrunde, der die Pflichtinhalte nach Art. 28 DSGVO enthält und die näheren Umstände der Vertragsbeziehung zwischen Verantwortlichem und Auftragsverarbeiter regelt. Insbesondere liegt keine Auftragsverarbeitung mehr vor, wenn der Systemanbieter die Daten zumindest auch zu eigenen Zwecken verarbeitet, wie bspw. zu Werbezwecken oder um die integrierte KI zu trainieren. Sofern Anhaltspunkte hierfür bestehen, empfiehlt die LDI NRW in ihrem 29. Tätigkeitsbericht 2024, S. 47f. den Schulleitungen, Regelungen in die Auftragsverarbeitungsvereinbarung aufzunehmen, die dies verhindern. Insbesondere auch, weil die Datenverarbeitung zu eigenen Zwecken des Anbieters keinen schulischen Zwecken dienen und damit nicht der Aufgabenerfüllung der Schule gemäß § 5 Abs. 1 Satz 2 Datenschutzgesetz Nordrhein-Westfalen (DSG NRW).

Keine automatisierte Entscheidungsfindung

Beim Einsatz von Online-Lernplattformen mit ITS ist Art. 22 DSGVO zu beachten. Demnach dürfen die durch die Lernplattform durchgeführten Auswertungen der Fähigkeiten der einzelnen Schüler*innen lediglich die Grundlage für die Notengebung oder andere Entscheidungen bezüglich der Schullaufbahn darstellen. Dies gilt insbesondere auch, wenn die Lernplattform KI-gestützt ist. Auch dann darf die KI lediglich Entscheidungsgrundlagen liefern. Die letztendliche Entscheidung, die der betroffenen Person gegenüber rechtliche Wirkung entfaltet, muss von einem Menschen getroffen werden.

KI-Verordnung (KI-VO)

Je nach Einsatzzweck und konkreter Ausgestaltung des ITS kann es sich um ein Hochrisiko-KI-System gemäß Art. 6 Abs. 2 KI-VO handeln (s. auch insbesondere Nr. 3 des Anhangs III zu Art. 6 Abs. 2 KI-VO). Demnach wären die Vorgaben des Artt. 8 ff. KI-VO zu beachten und umzusetzen.

Datenschutzfolgenabschätzung (DSFA)

Da sich die deutschen Aufsichtsbehörden bisher noch nicht im Detail zu dem Thema der Erforderlichkeit einer Datenschutzfolgenabschätzung beim Einsatz von KI-gestützten Anwendungen positioniert haben, gilt weiterhin der Grundsatz des Art. 35 DSGVO. Demnach ist eine DSFA immer dann erforderlich, wenn die Verarbeitung aufgrund ihrer Art, ihres Umfangs, der Umstände und ihrer Zwecke voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat. Dies gilt insbesondere bei der Verwendung neuer Technologien gemäß Art. 35 Abs. 1 DSGVO. Außerdem ist die Durchführung einer DSFA in den drei Fällen des Art. 35 Abs. 3 DSGVO erforderlich. KI gilt nach momentan einhelliger Auffassung als „neue Technologie“. Darüber hinaus ist – unabhängig vom Einsatz einer KI – nach Ansicht der Verfasserin die Fallgruppe des Art. 35 Abs. 3 lit. a DSGVO im Fall eines ITS einschlägig. Die Auswertung der Daten über die Lernstände, Stärken, Schwächen und Fortschritte der Schüler*innen stellt eine umfassende und systematische Bewertung persönlicher Aspekte der Schüler*innen dar, die durch die Online-Lernplattform auch automatisiert stattfindet. Durch die Auswertung in den verschiedenen Schulfächern bzw. Kompetenzbereichen wird ein Profil der betroffenen Person erstellt, das wiederum als Entscheidungsgrundlage für personalisierte Lernmaterialien und sogar die Notengebung dienen kann. Die Datenschutzkonferenz hat außerdem eine „Schwarze Liste“ von Verarbeitungstätigkeiten veröffentlicht, für die unbedingt eine DSFA erforderlich ist. Auch hier könnten, abhängig davon, ob eine KI im Spiel ist oder nicht, die Ziffern 7, 9 und 11 einschlägig sein.

Endgeräte

Ein weiteres Problem bei der Nutzung von ITS sind die Endgeräte, durch die das Lernsystem abgerufen wird, und zwar sowohl durch die Lehrkräfte, als auch durch die Schüler*innen. Der Gebrauch von privaten Endgeräten führt mangels Administration der Geräte durch die Schulleitung zum Kontrollverlust über die Rechtmäßigkeit der Datenverarbeitung, so die LDI NRW in ihrem 23. Tätigkeitsbericht 2017. Ein Zugriff auf die privaten Endgeräte durch die Schule ist aufgrund des Eingriffs in die Privatsphäre der Betroffenen ebenfalls unzulässig. Datenschutz und Datensicherheit können in der Folge nicht in dem gesetzlich gebotenen Maße gewährleistet werden. Langfristig wird für den Einsatz von ITS daher die ausschließliche Nutzung schulischer Endgeräte erforderlich sein, wobei nach § 2 Abs. 2 S. 7 der Verordnung über die zur Verarbeitung zugelassenen Daten von Schülerinnen, Schülern und Eltern (VO-DV I) in begründeten Einzelfällen hiervon abgewichen werden kann. Sofern übergangsweise auch private Endgeräte eingesetzt werden, sollte die Schule als Mindestmaß die Umsetzung der Sicherheitshinweise des BSI für mobile, internetfähige Geräte sicherstellen.

Gerade bei der Verteilung schulischer Geräte unter den Schüler*innen empfiehlt sich zudem die Nutzung eines Mobile Device Management Systems (MDM). Neben der zentralen Verwaltung und Aktualisierung der Geräte lassen sich damit auch Anwendungen flächendeckend installieren und im Rahmen des Zulässigen das Nutzerverhalten überwachen. So kann nach Ansicht der LDI NRW (S. 13) die Einsichtnahme der Lehrkräfte in die Bildschirme der Schüler*innen zur Wahrnehmung des Bildungs- und Erziehungsauftrags gemäß § 120 Abs. 5 SchulG NRW erforderlich sein. Auf dieser Basis kann auch die Anfertigung von Screenshots mit Hilfe eines MDM zulässig sein.

Endergebnis und Lichtblick

Die Ausführungen zeigen, dass der Einsatz von ITS sowohl Innovation und Chancen in Bezug auf die bedürfniszugeschnittene Förderung von Schüler*innen und Entlastung von Lehrkräften bietet, als auch datenschutzrechtliche und IT-sicherheitstechnische Risiken bergen kann. Grundsätzlich sind beim Einsatz von ITS dieselben datenschutzrechtlichen und IT-sicherheitstechnischen Maßnahmen und Prüfpunkte zu beachten, wie sie auch sonst bei der Einführung neuer Anwendungen und Softwareprodukte zu beachten sind. Besonderheiten ergeben sich im Hinblick auf die Rechtsgrundlage und die Begrenzung der Datenverarbeitung auf das zur Erfüllung der öffentlichen Aufgaben der Schulen erforderliche Ausmaß. Dabei müssen im besonders geschützten Verantwortungsbereich der Schulen die Persönlichkeitsrechte der betroffenen Schüler*innen gewahrt werden.

Ein vom Bundesministerium für Bildung und Forschung iniziiertes Projekt „Data Protection Certification for Educational Information Systems“ (DIRECTIONS) könnte insofern Klarheit bringen, als dass sich diese Initiative das Ziel gesetzt hat, eine nachhaltig erprobte Datenschutzzertifizierung von IT-Systemen im Bildungssektor zu entwickeln. Dabei stehen zumindest auch Lernanwendungen sowie Content-Plattformen im Fokus.

Bis dahin gilt, dass die aufgeführten Punkte keinesfalls abschließend sind und insbesondere die Prüfung durch den Datenschutzbeauftragten und die verantwortliche Stelle im Einzelfall nicht ersetzen. Sie können aber einen Überblick über die größten datenschutzrechtlichen Probleme bei dem Einsatz von ITS in Schulen und insofern eine grobe Orientierung geben.