Unterschwellig, manipulativ, täuschend – Was verbietet Art. 5 Abs. 1 lit. a KI-VO?

Im ersten Beitrag dieser Reihe haben wir erläutert, warum die Verbote des Art. 5 KI-VO für viele schwer verständlich sind und angekündigt, die Leitlinien der EU-Kommission näher zu beleuchten. Nun steigen wir ein in die Analyse der einzelnen Verbote. Den Anfang macht das Verbot schädlicher Manipulation nach Art. 5 Abs. 1 lit. a KI-VO.

In diesem Beitrag erklären wir Ihnen, was genau durch das Verbot untersagt wird, warum dieser Schutz wichtig ist und welche KI-Praktiken in Ihrem Alltag dadurch verhindert werden sollen.

Warum gibt es dieses Verbot?

Stellen Sie sich vor, eine App analysiert heimlich Ihre Stimmung und spielt Ihnen genau dann Werbung für einen teuren Spontankauf aus, wenn Sie emotional verletzlich sind. Oder ein Chatbot gibt sich als hilfsbereiter Mensch aus, um Sie zu einer Entscheidung zu drängen, die Sie später bereuen. Genau solche Szenarien will der Verordnungsgeber unterbinden.

Sie sollen nicht zum Spielball eines Algorithmus werden und ihre Entscheidungen sollen ihre eigenen bleiben. Die KI-VO schützt damit ihre Selbstbestimmung und ihre Menschenwürde. Die EU-Kommission betont in ihren Leitlinien, dass die Verbote darauf abzielen, Personen vor manipulativen, täuschenden und ausbeuterischen KI-Praktiken zu schützen, die die Entscheidungsfindung und freie Auswahl untergraben können.

Was genau ist verboten?

Art. 5 Abs. 1 lit. a KI-VO verbietet KI-Systeme, die bestimmte Techniken einsetzen, um Ihr Verhalten zu beeinflussen. Die Verordnung unterscheidet dabei drei Kategorien von Techniken, nämlich Techniken der unterschwelligen Beeinflussung außerhalb Ihres Bewusstseins, absichtlich manipulative Techniken sowie täuschende Techniken.

Allerdings führt der Einsatz solcher Techniken allein noch nicht zum Verbot. Das Verbot greift erst, wenn vier kumulative Voraussetzungen erfüllt sind. Vereinfacht gesagt muss

1. ein KI-System in Verkehr gebracht, in Betrieb genommen oder verwendet werden
2. dieses muss Techniken der unterschwelligen Beeinflussung, manipulative Techniken oder täuschende Techniken einsetzen
3. Ihr Verhalten muss durch das KI-System wesentlich verändert werden, indem Ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt wird und Sie zu einer Entscheidung veranlasst werden, die Sie sonst nicht getroffen hätten
4. Ihnen muss daraus ein erheblicher Schaden entstehen oder mit hinreichender Wahrscheinlichkeit entstehen können.

Zwischen diesen Elementen muss zudem ein plausibler Kausalzusammenhang bestehen.

Unterschwellige Beeinflussung: Wenn Sie gar nicht merken, was passiert

Die erste Kategorie der verbotenen Techniken betrifft solche, die Sie gar nicht bewusst wahrnehmen können. Das klingt wie Science-Fiction, ist aber technisch längst möglich.

Die Leitlinien nennen verschiedene Erscheinungsformen. Unterschwellige visuelle Botschaften etwa Bilder oder Texte, die während eines Videos nur für Sekundenbruchteile aufblitzen. Sie sind viel zu schnell, um bewusst wahrgenommen zu werden, können aber dennoch Verhaltensweisen beeinflussen. Bei unterschwelligen auditiven Botschaften werden Töne so leise eingespielt oder durch andere Töne überlagert, dass sie unbewusst wirken. Weitere Beispiele sind eingebettete Bilder, die in anderen Inhalten versteckt sind, Fehlleitung, bei der ein KI-System Ihre Aufmerksamkeit gezielt ablenkt, sowie zeitliche Manipulation, bei der ein KI-System Ihre Zeitwahrnehmung verändert, um etwa Ungeduld oder Abhängigkeit zu erzeugen.

Das entscheidende Merkmal dieser Techniken ist, dass sich die Beeinflussung Ihrer Kontrolle entzieht, selbst wenn Sie aufmerksam sind. Ein KI-System, das solche Techniken nutzt und dabei alle weiteren Tatbestandsvoraussetzungen erfüllt, fällt unter das Verbot.

Absichtlich manipulative Techniken: Wenn Ihre Autonomie untergraben wird

Bei der zweiten Kategorie der verbotenen Techniken geht es um absichtlich manipulative Techniken. Anders als bei unterschwelligen Techniken können Sie diese Beeinflussung grundsätzlich wahrnehmen.

Bei diesen Techniken nutzt ein KI-System gezielt Ihre menschlichen Schwachstellen aus, etwa kognitive Verzerrungen, emotionale Zustände oder ein bestehendes Machtgefälle. Das Besondere an dieser Kategorie ist, dass Sie die Beeinflussung zwar grundsätzlich bemerken können, ihr aber trotzdem nicht wirksam widerstehen können. Auch wenn Sie wissen, dass Sie beeinflusst werden, ist die Technik so gestaltet, dass sie Ihre freie Entscheidungsfindung dennoch untergräbt.

Ein Beispiel ist die sensorische Manipulation. Ein KI-System setzt Hintergrundbilder oder Hintergrundtöne ein, die zu Stimmungsveränderungen wie Angstzuständen führen und das Verhalten der Nutzer so stark beeinflussen, dass ein erheblicher Schaden entsteht. Ein weiteres Beispiel ist die personalisierte Manipulation. Ein KI-System erstellt auf der Grundlage personenbezogener Daten sehr überzeugende, auf die betreffende Person zugeschnittene Botschaften oder nutzt individuelle Vulnerabilitäten aus und beeinflusst das Verhalten oder die Entscheidungen so stark, dass ein erheblicher Schaden entsteht.

Doch wann ist eine manipulative Technik „absichtlich“? Die Kommission stellt klar, dass sich das Merkmal „absichtlich“ auch nur auf die Techniken selbst beziehen kann und nicht auf die Absicht des Anbieters oder Betreibers, Schaden zu verursachen. Das Verbot absichtlich manipulativer Techniken erstreckt sich daher auch auf KI-Systeme, die Einzelpersonen manipulieren, ohne dass ein Mensch dies wirklich beabsichtigt hat. KI-Systeme können unabhängig von der eigentlichen Absicht des Anbieters manipulative Techniken erlernen, etwa weil die Trainingsdaten zahlreiche Beispiele für manipulative Techniken enthalten oder weil verstärkendes Lernen aus menschlichem Feedback durch manipulative Techniken „ausgetrickst“ werden kann.

Was bedeutet das praktisch? Auch wer mit den besten Absichten ein KI-System entwickelt oder einsetzt, kann unter das Verbot fallen, wenn das System eigenständig manipulative Verhaltensweisen entwickelt. Ist das manipulative Verhalten des Systems allerdings nur von „untergeordneter Bedeutung“ und hat der Anbieter geeignete Maßnahmen zur Risikominderung getroffen, soll nach Ansicht der Kommission nicht davon ausgegangen werden, dass das System absichtlich manipulative Techniken nach Art. 5 Abs. 1 lit. a KI-VO einsetzt.

Täuschende Techniken: der „KI-Enkel-Trick“

Die dritte Kategorie der verbotenen Techniken umfasst täuschende Techniken. Darunter fallen Methoden, bei denen falsche oder irreführende Informationen mit dem Ziel oder der Wirkung vermittelt werden, Einzelpersonen zu täuschen und ihr Verhalten in einer Weise zu beeinflussen, die ihre Autonomie, Entscheidungsfindung und freie Auswahl untergräbt.

Die Leitlinien nennen als besonders praxisrelevantes Beispiel die Vortäuschung menschlicher Interaktion, gewissermaßen den „KI-Enkel-Trick“. Die Kommission beschreibt einen „KI-Chatbot, der sich mittels synthetischer Stimme als ein Freund einer Person oder ein Verwandter ausgibt und versucht vorzutäuschen, dass er diese Person ist, und dabei Online-Betrug und erhebliche Schäden verursacht.“

Wer den klassischen Enkeltrick kennt, bei dem Betrüger am Telefon vorgeben, ein naher Angehöriger zu sein, kann sich vorstellen, wie viel überzeugender diese Masche wird, wenn KI die Stimme des echten Enkels perfekt imitiert. Genau hier setzt das Verbot an.

Wann liegt eine „wesentliche“ Verhaltensveränderung vor?

Nicht jede Form der Beeinflussung ist untersagt. Art. 5 Abs. 1 lit. a KI-VO verlangt, dass das Verhalten einer Person wesentlich verändert wird, indem ihre Fähigkeit, eine fundierte Entscheidung zu treffen, erheblich beeinträchtigt wird. Werbung, Überzeugungsarbeit und legitime Verkaufsstrategien bleiben grundsätzlich zulässig. Die Kommission zieht in ihren Leitlinien damit eine wichtige Grenze zwischen verbotener Manipulation und erlaubter Überzeugungsarbeit.

Überschritten ist diese Grenze erst, wenn jemand zu einer Entscheidung veranlasst wird, die er andernfalls nicht getroffen hätte.

Dabei kommt es nach der Formulierung der Verordnung auf das „Ziel oder die Wirkung“ an. Die Kommission unterscheidet hier zwei Szenarien. Im ersten Szenario setzt der Anbieter oder Betreiber die Techniken gezielt ein, um das Verhalten wesentlich zu verändern. Im zweiten Szenario fehlt eine solche Absicht, aber die Wirkung der eingesetzten Techniken ist dennoch geeignet, das Verhalten wesentlich zu verändern. Gerade das zweite Szenario ist für die Praxis besonders bedeutsam. Das Verbot kann also auch greifen, wenn ein Unternehmen keine Manipulationsabsicht hatte, die Wirkung aber dennoch eintritt oder eintreten kann.

Für die Beurteilung der „wesentlichen Veränderung“ zieht die Kommission eine Parallele zum Verbraucherschutzrecht. In Anlehnung an die Richtlinie über unlautere Geschäftspraktiken und die Rechtsprechung des EuGH empfiehlt sie, den Maßstab einer „durchschnittlichen“ Person innerhalb der Zielgruppe heranzuziehen. Es muss nicht nachgewiesen werden, dass das Verhalten tatsächlich verändert wurde. Es genügt die Feststellung, dass die Technik dazu geeignet ist.

Welcher Schaden ist gemeint?

Das Verbot greift nur, wenn Ihnen oder anderen ein erheblicher Schaden entsteht oder mit hinreichender Wahrscheinlichkeit entstehen wird. Die Kommission führt den physischen, psychischen, sowie finanziellen und wirtschaftlichen Schaden als potenzielle Schadensarten an.

Die Feststellung eines „erheblichen Schadens“ erfordert eine sorgfältige Einzelfallprüfung. Die Kommission nennt als Orientierungshilfe mehrere Kriterien, darunter die Schwere des Schadens, den Kontext und kumulative Auswirkungen, den Umfang und die Intensität, die Vulnerabilität betroffener Personen sowie die Dauer und Reversibilität des Schadens. Konkrete Euro-Beträge oder andere feste Schwellenwerte gibt die Kommission allerdings nicht vor.

Welche Rolle spielen Maßnahmen zur Risikominderung?

Ein für die Praxis besonders wichtiger Aspekt betrifft die Frage, wie Anbieter und Betreiber von KI-Systemen das Verbot vermeiden können. Die Kommission betont, dass bei der Bewertung, ob ein erheblicher Schaden mit hinreichender Wahrscheinlichkeit eintritt, auch zu berücksichtigen ist, ob der Anbieter oder Betreiber geeignete Maßnahmen zur Risikominderung getroffen hat. Wer also proaktiv handelt, kann das Risiko eines Verbotsverstoßes erheblich senken.

Die Kommission nennt insbesondere drei Maßnahmen. Anbieter und Betreiber sollten Transparenz und individuelle Autonomie gewährleisten, also die Funktionsweise des KI-Systems offenlegen, seine Fähigkeiten und Grenzen klar benennen und geeignete Nutzerkontroll- und Schutzmaßnahmen integrieren. Daneben kann die Einhaltung einschlägiger Rechtsvorschriften das Schadensrisiko mindern und zugleich darauf hindeuten, dass keine manipulative oder täuschende Praxis vorliegt. Schließlich empfiehlt die Kommission, dem Stand der Technik entsprechende Praktiken und Industriestandards für die verantwortungsvolle Entwicklung und Nutzung sicherer KI-Systeme einzuhalten.

Was bleibt erlaubt?

Die Kommission ist bemüht, legitime Geschäftspraktiken vom Verbot auszunehmen. Weiterhin zulässig bleiben daher überzeugende Werbung und Marketing ohne Täuschung, die Personalisierung von Angeboten basierend auf Ihren Präferenzen, Empfehlungssysteme mit transparenten Kriterien sowie KI-gestützte Kundenbetreuung ohne manipulative Elemente.

Aggressive Verkaufsstrategien, die von Menschen eingesetzt werden, werden nicht allein dadurch verboten, dass sie durch KI unterstützt werden. Das Verbot greift erst, wenn die spezifischen Fähigkeiten der KI genutzt werden, um die Manipulation zu verstärken oder zu personalisieren.

Ein Beispiel aus den Leitlinien illustriert die Abgrenzung besonders anschaulich. Die Kommission führt einen therapeutischen Chatbot an, der mit unterschwelligen Techniken arbeitet, um Nutzer zu einem gesünderen Lebensstil zu motivieren und etwa beim Rauchstopp zu unterstützen. Selbst wenn die Nutzer dabei Entzugserscheinungen oder Stress erleben, fehlt es nach Ansicht der Kommission am erheblichen Schaden. Nicht jede unterschwellige Technik ist also automatisch verboten. Entscheidend bleibt immer das Zusammenspiel aller vier kumulativen Voraussetzungen.

Was bedeutet das für Sie persönlich?

Das Verbot schädlicher Manipulation bietet Ihnen in zahlreichen Alltagssituationen Schutz. Beim Online-Shopping sollen KI-Systeme Sie nicht durch Ausnutzung emotionaler Schwächen zu Impulskäufen verleiten können. Bei der Nutzung von Apps sollen unterschwellige Techniken Ihr Verhalten nicht unbemerkt steuern können. Und bei Empfehlungssystemen sollen Algorithmen nicht gezielt Ihre Ängste oder Vorurteile verstärken, um Sie zu bestimmten Handlungen zu bewegen.

Fazit

Das Verbot schädlicher Manipulation nach Art. 5 Abs. 1 lit. a KI-VO schützt Ihre Selbstbestimmung. Es ist jedoch nicht jede Beeinflussung verboten. Werbung und bloße Überzeugungsarbeit bleiben erlaubt. Doch wenn ein KI-System gezielt Ihre psychologischen Schwachstellen anspricht, Sie ohne Ihr Wissen beeinflusst oder Ihnen Unwahres erzählt, um Sie zu einer nachteiligen Entscheidung zu bewegen und Ihnen daraus ein erheblicher Schaden entsteht oder wahrscheinlich entstehen wird, kann die Grenze überschritten sein.

Die Leitlinien der Kommission bieten eine wichtige Orientierung, lassen aber Fragen offen. Wo genau die Grenze zwischen erlaubter Überzeugung und verbotener Manipulation verläuft, wird sich erst durch die Anwendungspraxis und die Rechtsprechung des EuGH zeigen. Für Anbieter und Betreiber von KI-Systemen ist es ratsam geeignete Maßnahmen zur Risikominderung frühzeitig zu treffen und nicht erst auf die erste Bußgeldentscheidung zu warten.

Im nächsten Beitrag dieser Reihe befassen wir uns mit dem Verbot der Ausnutzung von Vulnerabilitäten nach Art. 5 Abs. 1 lit. b KI-VO und dem besonderen Schutz von Kindern, älteren Menschen und anderen besonders verletzlichen Gruppen.