KI-Systeme im Krankenhaus – datenschutzrechtliche und sicherheitstechnische Pflichten

Vor kurzem hatten wir über Betreiberpflichten und Haftungsfragen von Krankenhäusern nach der KI-Verordnung der Europäischen Union berichtet. Im vorliegenden Artikel wird nunmehr darauf eingegangen, welche spezifischen datenschutzrechtlichen und sicherheitstechnischen Anforderungen an Krankenhäuser gestellt werden, wenn diese KI-Systeme betreiben. Hierzu gehören neben der Auswahl eines geeigneten KI-Systems und KI-Modells auch Zusatzregelungen zur Wahrung der ärztlichen Schweigepflicht sowie C5-Testate, sofern die KI-Systeme oder KI-Modelle über Cloud-Diensteanbieter zur Verfügung gestellt werden.

Architektur des Sprachmodells

Bei der Beschaffung oder Entwicklung von KI-Systemen im medizinischen Bereich stellt sich unabhängig davon, ob es sich um ein Hochrisiko-KI-System handelt oder nicht, zunächst die Frage nach dem geeigneten KI-Modell und dessen Architektur. Nicht jedes KI-Modell ist geeignet für medizinische KI-Systeme.

Zunächst sollte bei der Beschaffung und Entwicklung des medizinischen KI-Systems darauf geachtet werden, dass personenbezogene Daten und insbesondere Patientendaten nicht zur Optimierung und zum Training des KI-Modells genutzt werden. Eine solche Nutzung wäre mit einer zweckfremden Nutzung der Daten verbunden, für die es keine Rechtsgrundlage gibt.

Auch sollte sichergestellt werden, dass die Anbieter der KI-Modelle den Entwicklern der KI-Systeme eigene Instanzen ihrer KI-Modelle zur Verfügung stellen. Zwar ist hiermit keine vollständige Kontrolle des KI-Modells verbunden, was aus datenschutzrechtlicher Sicht optimal wäre, dennoch werden hierbei die in das Sprachmodell eingegebenen Daten logisch getrennt von Daten anderer Mandanten verarbeitet.

So bietet Microsoft Sprachmodelle von OpenAI über einen eigenen Azure OpenAI Service an. Dies ist eine dedizierte Instanz, bei der die eingegebenen Daten logisch getrennt von Daten anderer Nutzer verarbeitet werden.  Die Daten werden in dieser dedizierten Instanz nicht zum Training des Sprachmodells verwendet und nicht an OpenAI übermittelt.

Eigene Instanzen werden auch für die Claude-Sprachmodelle angeboten, im Gegensatz zu OpenAI nicht nur von Microsoft per „Azure AI Foundry“, sondern auch von Amazon Web Services (AWS) per „Amazon Bedrock“ und Google Cloud per „Vertex AI“.

Wer Sprachmodelle vollständig unter eigener Kontrolle betreiben will, muss auf Open-Source-Sprachmodelle wie Llama oder Mistral zurückgreifen und diese selbst oder in Deutschland beispielsweise bei T-Systems hosten. Diese Sprachmodelle sind zwar in ihrer Modellqualität schwächer als Sprachmodelle von OpenAI oder Anthropic, lassen sich aber vollständig datenschutzkonform betreiben.

Vertrag zur Auftragsverarbeitung mit Hinweis auf § 203 StGB

Generell müssen Krankenhäuser mit externen Dienstleistern, die ihnen KI-Systeme oder KI-Modelle zur Verfügung stellen, Verträge zur Auftragsverarbeitung abschließen. Die Verträge müssen nicht nur sämtliche Anforderungen aus Art. 28 Abs. 3 DSGVO erfüllen, sondern müssen auch eine Regelung zu § 203 Abs. 4 StGB enthalten. Demnach müssen Krankenhäuser vertraglich sicherstellen, dass die Mitarbeiter des externen Dienstleisters nicht nur auf Vertraulichkeit verpflichtet werden, sondern auch zur Wahrung von Geheimnissen, denen die Mitarbeiter des externen Dienstleisters unterliegen, sofern diesen als Erfüllungsgehilfe des behandelnden Arztes personenbezogene Daten offenbart werden, die der ärztlichen Schweigepflicht unterliegen. Gleiches gilt für Mitarbeiter von evtl. Subunternehmen: Die Verträge zur Auftragsverarbeitung müssen sicherstellen, dass auch Mitarbeiter von Subdienstleistern hierauf verpflichtet werden.

Microsoft bietet vor diesem Hintergrund für Microsoft Azure, Microsoft 365 und Dynamics 365 eine Zusatzvereinbarung (Professional Secrecy Amendment) für Berufsgeheimnisträger an, die zusätzlich zum Microsoft-Kundenvertrag (MCA) inkl. Data Processing Agreement (DPA) abgeschlossen werden muss.

Allerdings bleibt trotz der Zusatzvereinbarung das Risiko bestehen, dass Microsoft dem amerikanischen CLOUD Act unterliegt, der es US-Behörden theoretisch ermöglicht, auch auf Daten in europäischen Microsoft-Rechenzentren zuzugreifen. Dies steht im Spannungsverhältnis zur ärztlichen Schweigepflicht, da Microsoft kein gleichwertig gebundener Datenempfänger im deutschen Rechtssinne ist.

Empfehlenswert ist außerdem die Aktivierung der Kunden-Lockbox für Microsoft Azure, die einen Datenzugriff durch Microsoft-Mitarbeiter nur nach expliziter Kundenfreigabe ermöglicht.

Zurzeit wird von AWS für Amazon Bedrock oder von Google Cloud für Vertex AI keine spezifische § 203-Zusatzvereinbarung zur Verfügung gestellt. Diese müsste individuell vereinbart werden, was normalerweise bei derart großen Hyperscalern kaum möglich ist.

Aber auch bei der medizinischen Nutzung von Anthropic-Sprachmodellen in einer Microsoft Foundry Umgebung gibt es Probleme: Bei Microsoft Foundry laufen die Claude Modelle weiterhin auf einer Anthropic Infrastruktur, so dass Anthropic der Datenverarbeiter bleibt und somit die Microsoft-DPA und damit auch die § 203-Zusatzvereinbarung hier strukturell nicht greifen.

Bei der medizinischen Nutzung von KI-Modellen von Anthropic besteht somit das generelle Problem, dass Patientendaten ggf. gegenüber Personen offenbart werden, die nicht auf die Wahrung von Berufsgeheimnissen verpflichtet sind.

C5-Testat

Sofern bei der Verarbeitung von Gesundheitsdaten in den Betrieb des KI-Systems oder des KI-Modells Cloud-Diensteanbieter als „datenverarbeitende Stelle“ eingebunden sind, müssen diese gemäß § 393 SGB V zum einen ein C5-Typ2-Testat vorlegen, dass ausschließlich von Wirtschaftsprüfern erteilt werden kann, zum anderen über eine Niederlassung in Deutschland verfügen. In diesem Zusammenhang stellt sich zunächst die Frage, wer als „datenverarbeitende Stelle“ im Sinne des § 393 SGB V interpretiert wird.

Aus meiner Sicht wird nur dann von dem Anbieter des KI-Modells ein C5-Testat und eine Niederlassung in Deutschland benötigt, wenn Gesundheitsdaten direkt über einen webbasierten Chatbot mit Zugang zu KI-Modellen wie GPT-4, Claude oder Gemini eingegeben werden. Sofern KI-Systeme bei Cloud-Diensteanbietern wie Microsoft (Azure OpenAI Service, Azure AI Foundry), AWS (Amazon Bedrock) oder Google Cloud (Vertex AI) eingebettet sind und die KI-Modellanbieter wie OpenAI oder Anthropic nur Inferenz-Aufrufe verarbeiten, sind die KI-Modellanbieter aus meiner Sicht keine datenverarbeitende Stelle und unterliegen nicht den Anforderungen des § 393 SGB V. Diese Rechtsauffassung ist allerdings umstritten.

Wie sieht es mit C5-Testaten und deutschen Niederlassungen bei den großen Hyperscalern aus?

Microsoft

Microsoft Azure verfügt über ein C5-Testat und über eine Niederlassung in Deutschland.

Azure OpenAI Services und Azure AI Foundry sind im Scope des C5-Testats von Microsoft Azure gelistet. Darüber hinaus sind beide Dienste im Scope der ISO-Zertifizierungen für Microsoft Azure enthalten, d.h. beide Dienste sind nach ISO/IEC 27001, ISO/IEC 27017 und ISO/IEC 27018 zertifiziert.

Amazon Web Services

AWS verfügt u.a. für die Standorte Frankfurt, Dublin, London, Paris, Mailand, Stockholm und Zürich über ein C5-Testat. Es existiert eine Zweigniederlassung der luxemburgischen Amazon Web Services EMEA SARL in München sowie eine Amazon Web Services Germany GmbH mit Sitz in Berlin.

AWS Bedrock ist im Scope des C5-Testats von AWS gelistet. Darüber hinaus ist AWS Bedrock im Scope der ISO-Zertifizierungen für die Amazon Web Services enthalten, d.h. AWS Bedrock ist nach ISO/IEC 27001, ISO/IEC 27017 und ISO/IEC 27018 zertifiziert.

Google Cloud

Für Google Cloud existiert ein C5-Testat, Clouddienste-Anbieter ist allerdings die Google Cloud EMEA Limited in Irland, die Google Germany GmbH ist nur vertrieblich tätig.

Der generative AI Dienst von Vertex AI ist im Scope des C5-Testats von Google Cloud gelistet. Vertex AI ist darüber hinaus im Scope der ISO-Zertifizierungen für Google Cloud enthalten, d.h. Vertex AI ist nach ISO/IEC 27001, ISO/IEC 27017 und ISO/IEC 27018 zertifiziert.

OpenAI

OpenAI verfügt nach aktuellem Stand über kein C5-Testat. OpenAI hat zwar eine eigene Niederlassung in Deutschland, diese ist jedoch nur vertrieblich tätig.

Anthropic

Anthropic verfügt nach aktuellem Stand über kein C5-Testat. Anthropic hat zwar eine eigene Niederlassung in Deutschland, diese ist jedoch nur vertrieblich tätig.

Einen Überblick über die jeweiligen § 203-Regelungen, C5-Testate und Niederlassungen gibt die folgende Tabelle:

Fazit

Angesichts der zahlreichen Einschränkungen können Krankenhäuser, sofern sie Gesundheitsdaten durch KI-Systeme und KI-Modelle verarbeiten wollen, hieraus nur folgende Konsequenz ziehen:

1. Gesundheitsdaten dürfen nicht direkt über einen webbasierten Chatbot in KI-Modelle eingegeben werden, da OpenAI und Anthropic weder über eine zusätzliche § 203 StGB-Regelung verfügen noch über ein C5-Testat oder eine Niederlassung in Deutschland, die für die Datenverarbeitung verantwortlich ist. Außerdem kann hierüber nicht sichergestellt werden, dass Gesundheitsdaten nicht zum Training und zur Optimierung des KI-Modells genutzt werden.
2. Sofern KI-Systeme zu medizinischen Zwecken genutzt werden, muss der Betrieb der KI-Modelle über logisch getrennte Instanzen erfolgen, die von den großen Hyperscalern angeboten werden.
3. Bei näherer Betrachtung eignen sich augenblicklich nur die Azure OpenAI Services dazu, cloudbasierte KI-Systeme und KI-Modelle datenschutzkonform zu betreiben. Dennoch bleiben aufgrund des amerikanischen CLOUD Act Restrisiken.
4. Wer KI-Systeme und KI-Modelle gänzlich ohne Datenschutzrisiken betreiben will, muss auf Open Source Modelle wie Llama oder Mistral zurückgreifen und diese in Deutschland beispielsweise bei T-Systems hosten (Open Telekom Cloud mit § 203 StGB-Regelung, C5-Testat), die jedoch in ihrer Modellqualität hinter GPT-4 oder Claude zurückbleiben.