Der Einsatz von Künstlicher Intelligenz (KI) schreitet in Krankenhäusern schnell voran. Mit der KI-Verordnung der Europäischen Union steigen jedoch auch die regulatorischen Anforderungen: Krankenhäuser werden rechtlich zu Betreibern von KI-Systemen und unterliegen damit zahlreichen Pflichten. Die Pflichten sind davon abhängig, ob es sich bei dem eingesetzten System um ein KI-System mit allgemeinem Verwendungszweck oder mit bestimmtem Verwendungszweck handelt, um ein Hochrisiko-KI-System oder gar um ein verbotenes KI-System.

Der vorliegende Beitrag will hier weiterhelfen: In Kap. 1 wird zunächst ein Prüfschema dargestellt, dass es ermöglicht, KI-Systeme entsprechend zu klassifizieren. Darauf aufbauen werden in Kap. 2 Pflichten für die jeweiligen KI-Systeme beschrieben. Und schließlich wird zum Abschluss in Kap. 3 auf Haftungsfragen eingegangen.

1. Prüfschema zur Klassifizierung von KI-Systemen

Inwieweit ein KI-System gemäß KI-Verordnung als KI-System mit allgemeinem Verwendungszweck oder mit bestimmtem Verwendungszweck (in der KI-Verordnung „bestimmtes KI-System“ genannt) klassifiziert wird oder als ein Hochrisiko-KI-System oder gar als ein verbotenes KI-System, ist nicht trivial. Dies liegt zum einen an der doch recht unstrukturierten KI-Verordnung inkl. der Anlagen I und III, zum anderen existieren zahlreiche Ausnahmen insbesondere für den Einsatz von KI zu Zwecken der Strafverfolgung.

Das folgende Prüfschema soll daher für Krankenhäuser eine praxisnahe Hilfestellung bei der Klassifizierung bilden.

1.1. KI-Systeme mit allgemeinem Verwendungszweck

KI-Systeme mit allgemeinem Verwendungszweck beruhen auf einem KI-Modell mit allgemeinem Verwendungszweck und können zu vielfältigen Zwecken (auch zu verbotenen Zwecken) eingesetzt werden, dies sind u.a.

  • Microsoft Copilot,
  • webbasierte Chatbots mit Zugang zu KI-Modellen wie GPT-4, Claude, Gemini oder Llama,
  • lokale Chatbots.

1.2. Bestimmte KI-Systeme

KI-Systeme mit bestimmtem Verwendungszweck beruhen auf einem KI-Modell mit allgemeinem Verwendungszweck und können nur zu einzelnen Zwecken verwendet werden. Dazu gehören u.a.

  • Chatbots mit bestimmter Funktionalität,
  • die synthetische Erzeugung von Audio-, Bild-, Video- oder Textinhalten,
  • die Emotionserkennung oder biometrische Kategorisierung.

1.3. Hochrisiko-KI-Systeme

Hochrisiko-KI-Systeme sind Systeme, die auf einem KI-Modell mit allgemeinem Verwendungszweck aufbauen und deren Betrieb mit einem hohen Risiko für die Gesundheit, Sicherheit oder Grundrechte von Personen verbunden ist, u.a.

  • Sicherheitskomponenten der kritischen Infrastruktur,
  • Bewerbermanagement-Tools,
  • Triage-Algorithmen und Systeme, die den Zugang zur Gesundheitsversorgung steuern,
  • In-vitro-Diagnostika der Klassen C und D,
  • Medizinprodukte ab Klasse IIa.

Medizinprodukte ab Klasse IIa sind KI-Systeme, die zu diagnostischen oder therapeutischen Zwecken eingesetzt werden, etwa zur Diagnose von Krankheiten, Verletzungen oder Behinderungen, zur Therapie- und Dosierungsempfehlung, zur Therapieunterstützung und -begleitung oder zur Vorhersage und Prognose von Krankheitsverläufen.

1.4. Verbotene KI-Systeme

KI-Systeme sind verboten, wenn sie auf einem KI-Modell mit allgemeinem Verwendungszweck aufbauen und inakzeptable Praktiken aufweisen, insbesondere manipulative, ausbeuterische und soziale Kontrollpraktiken. Hierzu gehören u.a.

  • die unterschwellige Beeinflussung sowie absichtliche Manipulation und Täuschung von Personen,
  • die Einstufung von Personen aufgrund ihres sozialen Verhaltens, persönlicher Eigenschaften oder Persönlichkeitsmerkmale,
  • die Risikobewertung im Hinblick auf künftiges Straftatenpotential,
  • die Ableitung von Emotionen einer Person am Arbeitsplatz und in Bildungseinrichtungen,
  • die biometrische Kategorisierung von Personen im Hinblick auf Rasse, politische Einstellungen, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugungen, Sexualleben oder sexuelle Ausrichtung,
  • biometrische Echtzeit-Identifizierungssysteme in öffentlich zugänglichen Räumen,
  • Datenbanken zur Gesichtserkennung.

2. Pflichten für Krankenhäuser als Betreiber von KI-Systemen

2.1. KI-Systeme mit allgemeinem oder bestimmtem Verwendungszweck

Ab 2. August 2026 gelten gemäß Art. 50 KI-Verordnung für Betreiber von KI-Systemen mit allgemeinem oder bestimmtem Verwendungszweck Transparenz- und Informationspflichten, d.h. die Nutzer von KI-Systemen müssen darüber informiert werden, dass sie mit einem KI-System interagieren. Ausgaben des KI-Systems müssen als künstlich erzeugt oder manipuliert erkennbar sein. Die Pflicht zur Schulung der Beschäftigten, damit diese über eine ausreichende KI-Kompetenz verfügen, gilt bereits seit 2. Februar 2025 für Betreiber aller KI-Systeme.

2.2. Hochrisiko-KI-Systeme

Für Betreiber von Hochrisiko-KI-Systemen gelten gemäß Art. 26 KI-Verordnung zusätzliche allgemeine Pflichten, Überwachungs- und Meldepflichten, Informationspflichten und Dokumentationspflichten.

  1. Allgemeine Pflichten:
    • Umsetzung geeigneter technisch-organisatorischer Maßnahmen zur Sicherstellung einer zweckgemäßen Verwendung (Art. 26 Abs. 1)
    • Sicherstellung einer menschlichen Aufsicht durch Personen mit angemessener Kompetenz, Ausbildung und Befugnis (Art. 26 Abs. 2)
    • Verwendung zweckbestimmter und ausreichend repräsentativer Eingabedaten (Art. 26 Abs. 4)
  2. Überwachungs- und Meldepflichten:
    • Betriebsüberwachung anhand Betriebsanleitung (Art. 26 Abs. 5 Satz 1)
    • Aussetzung des Betriebs bei Risiko für Gesundheit, Sicherheit oder Grundrechte von Personen (Art. 26 Abs. 5 Satz 2)
    • Meldung schwerwiegender Vorfälle (Art. 26 Abs. 5 Satz 3)
    • Prüfung der Registrierung des Hochrisiko-KI-Systems in EU-Datenbank (Art. 26 Abs. 8)
    • Zusammenarbeit mit Behörden bei Umsetzung angeordneter Maßnahmen (Art. 26 Abs. 12)
  3. Informationspflichten:
    • Information der Beschäftigten und Arbeitnehmervertreter (Art. 26 Abs. 7)
    • Information der betroffenen Personen (Art. 26 Abs. 11)
  4. Dokumentationspflichten:
    • Aufbewahrung von Systemprotokollen für einen Zeitraum von 6 Monaten (Art. 26 Abs. 6)
    • Durchführung einer Datenschutz-Folgenabschätzung (Art. 26 Abs. 9)

Zu den Hochrisiko-KI-Systemen nach Anhang III der KI-Verordnung gehören u.a. KI-Systeme der Kritischen Infrastruktur, KI-Systeme zum Bewerbermanagement sowie KI-Systeme, die den Zugang zur Gesundheitsversorgung steuern (z. B. Triage-Algorithmen). Zu den Hochrisiko-KI-Systemen nach Anhang I gehören In-vitro-Diagnostika der Klassen C und D sowie Medizinprodukte ab Klasse IIa, Während die genannten Pflichten für Hochrisiko-KI-Systeme nach Anhang III ab 2. August 2026 umgesetzt werden müssen, gelten diese Pflichten für In-vitro-Diagnostika der Klassen C und D sowie Medizinprodukte ab Klasse IIa erst ab 2. August 2027.

3.  Haftungsfragen

Haftungsfragen sind gerade beim Einsatz von KI-Systemen im Krankenhaus von enormer Bedeutung. Hierbei kann zwischen der ärztlichen Haftung bei Behandlungsfehlern, der Haftung des Krankenhauses bei Organisationsverschulden oder mangelhafter technischer Infrastruktur und Herstellerhaftung unterschieden werden. Bei KI-Fehlern im Krankenhaus wird oftmals eine Kombination von ärztlichem Behandlungsfehler und Organisationsverschulden des Krankenhauses diskutiert.

3.1. Ärztliche Haftung bei Behandlungsfehler

Grundsätzlich schuldet der Arzt gegenüber dem Patienten eine Behandlung nach dem aktuellen medizinischen Standard („lege artis“). KI-Systeme sind hierbei Hilfsmittel, der Arzt bleibt Verantwortlicher der Diagnostik und Therapieentscheidung.

Folgt der Arzt ohne eigene Qualitätskontrolle der KI-gestützten Diagnostik oder Therapieempfehlung, obwohl diese nicht plausibel ist oder nicht zum klinischen Bild passt, handelt es sich um einen Behandlungsfehler. Weicht der Arzt von einer KI-Diagnostik oder KI-Therapieempfehlung ab, ist dies unproblematisch, solange er dies fachlich begründet und dokumentiert.

Nimmt ein Fachgebiet eine bestimmte KI-Technik in den medizinischen Standard auf, kann auch umgekehrt die Nichtnutzung oder ein veraltetes KI-System haftungsrelevant werden.

Ebenso ist es ethisch heikel, wenn KI-gestützte Diagnosen oder Therapieempfehlung nicht nachvollzogen werden können. Ärzte müssen in der Lage sein, eine KI-Empfehlung wenigstens auf Plausibilität und Kontextpassung zu prüfen. Ansonsten steigt das Risiko von Behandlungs- und Produktfehlern – und damit von Haftung.

3.2. Haftung des Krankenhauses

Krankenhäuser haften u.a. für Organisationsverschulden, Auswahlverschulden oder mangelhafte technische Infrastruktur. Organisationsverschulden kann vorliegen bei Einsatz nicht ausreichend geprüfter und validierter KI-Tools, bei mangelhafter Integration der KI-Systeme in Krankenhausabläufe, bei fehlender oder unzureichender Schulung der Beschäftigten. Auswahlverschulden umfasst die Nutzung nicht zugelassener oder offensichtlich ungeeigneter KI-Systeme sowie das Ignorieren von Herstellerhinweisen.

3.3. Herstellerhaftung

KI-Systeme mit medizinischer Zweckbestimmung sind in aller Regel Medizinprodukte. Für Hersteller bedeutet dies u.a. die Pflicht zur CE-Kennzeichnung sowie die Haftung bei Designfehlern (ungeeignete KI-Modelle, nicht repräsentative Trainingsdaten), bei Implementierung fehlerhafter Software, bei irreführenden Versprechen oder fehlenden/ungenügenden Warnhinweisen und Gebrauchsanleitungen.

Bei selbstlernenden KI-Systemen, die sich nach Inverkehrbringen verändern, muss der Hersteller sicherstellen, dass diese Änderungen weiter dem zugelassenen Produktprofil entsprechen. Auch muss der Hersteller sicherstellen, dass die KI-Systeme nicht überwiegend mit Daten bestimmter Ethnien, Altersgruppen oder Geschlechtern trainiert werden, da dies KI-gestützte Diagnosen und Therapieempfehlungen erheblich verschlechtern kann.

Die Haftung des Herstellers entlastet den Arzt bzw. das Krankenhaus nicht nach außen. Patienten wenden sich zuerst an den behandelnden Arzt bzw. das Krankenhaus, die dann ggf. intern Regress beim Hersteller nehmen können.

| | , | , , , , , , , , , , | 1 Kommentar