Verbotene KI-Praktiken im EU KI-Gesetz

Was sind verbotene KI-Praktiken?

Das EU KI-Gesetz (AI Act) definiert eine Kategorie von KI-Praktiken, die als so gefährlich oder manipulaiv eingestuft werden, dass sie vollständig verboten sind. Diese Verbote sind absolut – es gibt keine Ausnahmen, die eine Anwendung dieser Systeme rechtfertigen würden. Das Ziel ist klar: Grundrechte, Demokratie und die menschliche Würde schützen.

Die verbotenen Praktiken sind in Artikel 5 des AI Act festgelegt. Sie umfassen sowohl den Einsatz bestimmter Technologien als auch die Art und Weise, wie KI-Systeme bestimmte Zwecke erfüllen dürfen. Unternehmen, die gegen diese Verbote verstoßen, drohen Bußgelder von bis zu 35 Millionen Euro oder 7% ihres globalen Jahresumsatzes.

Die verbotenen KI-Praktiken im Detail

1. Subtile manipulative KI

KI-Systeme, die Personen durch "Subliminaltechniken" oder gezielte Manipulationen zu schädlichen决定ungen verleiten, sind verboten. Dies umfasst auch den Einsatz von KI, um menschliche Schwächen auszunutzen. Konkret bedeutet das: Systeme, die durch unterschwellige Reize, bewusste Täuschung oder Ausnutzung von psychischen Vulnerabilitäten das Verhalten von Menschen zum Nachteil dieser Person beeinflussen.

Ein Beispiel wäre ein KI-gestütztes Empfehlungssystem, das gezielt Inhalte zeigt, die Ängste schüren oder Kaufimpulse manipulieren sollen. Auch Chatbots, die durch manipulaive Gesprächsführung Nutzer zu unüberlegten Entscheidungen drängen, fallen unter dieses Verbot.

2. Soziale Punktzahl und Scoring

Systeme, die Menschen anhand von sozialem Verhalten oder persönlichen Merkmalen bewerten und dadurch zu ungleicher Behandlung führen, sind verboten. Dies schließt explizit KI-Systeme aus, die soziale Punktzahl durch Behörden oder private Unternehmen durchführen. Das sogenannte "Social Scoring" – die Bewertung von Bürgern anhand eines digitalen Vertrauenswertes – ist in der EU untersagt.

Das Verbot umfasst Systeme, die mehrere Datenquellen kombinieren, um Persönlichkeitsmerkmale oder Verhaltensweisen zu prognostizieren, die dann zu Diskriminierung führen. Auch wenn ein solches System nicht direkt von Regierungen eingesetzt wird, sondern von privaten Unternehmen zur Entscheidungsfindung genutzt wird, kann es unter dieses Verbot fallen.

3. Biometrische Kategorisierung

Die Kategorisierung natürlicher Personen anhand biometrischer Merkmale zur Ableitung sensibler Attribute wie ethnische Zugehörigkeit, politische Meinungen, religiöse Überzeugungen, sexuelle Orientierung oder ähnliches ist verboten. Dies gilt auch für die Erstellung von Profilen auf Basis dieser Daten. Unternehmen, die Gesichtserkennungssysteme einsetzen, müssen besonders vorsichtig sein. Selbst wenn die Technologie nur zur Authentifizierung dient, kann die zusätzliche Kategorisierung oder Profilerstellung einen Verstoß darstellen.

4. Emotionenerkennung am Arbeitsplatz

KI-Systeme zur Erkennung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen sind verboten. Dies umfasst Systeme, die Mimik, Gestik, Stimme oder physiologische Signale analysieren, um emotionale Zustände zu erkennen. Der Einsatz solcher Systeme zur Überwachung von Arbeitnehmern oder Schülern ist ausdrücklich untersagt.

Selbst wenn ein solches System nur "zur Verbesserung der Mitarbeitererfahrung" eingesetzt wird, verstößt es gegen das Verbot. Die Intention spielt keine Rolle – allein der Einsatzbereich am Arbeitsplatz macht das System illegal.

5. Biometrische Fernidentifikation

Die Echtzeit-Fernidentifikation von Personen im öffentlichen Raum durch biometrische Daten (z.B. Gesichtserkennungskameras) ist grundsätzlich verboten. Es gibt jedoch eng begrenzte Ausnahmen für spezifische Strafverfolgungszwecke, die streng reguliert sind.

Für die meisten Unternehmen bedeutet das: Der Einsatz von Gesichtserkennung in öffentlich zugänglichen Bereichen, in Geschäften, auf Messen oder bei Veranstaltungen ist ohne explizite gesetzliche Grundlage verboten. Auch die Kombination von Überwachungskameras mit KI-gestützter Gesichtserkennung fällt unter dieses Verbot.

6. Risikoeinschätzung in der Justiz

KI-Systeme, die zur Risikoeinschätzung von Straftätern in der Justiz eingesetzt werden, sind verboten. Dies umfasst Systeme, die anhand von Persönlichkeitsmerkmalen oder past criminal behavior Rückfallwahrscheinlichkeiten berechnen und so richterliche Entscheidungen beeinflussen.

Obwohl diese Verbote primär Justizbehörden betreffen, sollten Unternehmen, die entsprechende Software entwickeln oder vertreiben, die strengen Anforderungen kennen. Auch Dienstleister, die Analysen für Strafverfolgungsbehörden durchführen, müssen vorsichtig sein.

Was ist erlaubt und was nicht?

Die Grenze zwischen verbotenen und erlaubten KI-Praktiken verläuft nicht immer eindeutig. Es ist wichtig zu verstehen, dass nicht jeder Einsatz von biometrischen Daten oder Emotionserkennung verboten ist – entscheidend ist der Kontext und der Zweck.

Praktische Auswirkungen für Unternehmen

Für Unternehmen, die KI-Systeme entwickeln, implementieren oder nutzen, ergeben sich aus den Verboten weitreichende Pflichten. Bereits vor dem Inkrafttreten des AI Act im August 2026 sollten Unternehmen ihre Systeme einer gründlichen Prüfung unterziehen.

Schritte zur Compliance

• Bestandsaufnahme: Identifiziere alle KI-Systeme, die in deinem Unternehmen eingesetzt werden – sowohl intern entwickelte als auch zugekaufte Lösungen.
• Zweckprüfung: Analysiere den konkreten Einsatzzweck jedes Systems. Könnte es unter eine verbotene Kategorie fallen?
• Datenfluss-Analyse: Untersuche, welche Daten deine KI-Systeme verarbeiten und wie diese Daten entstehen.
• Risikobewertung: Bewerte das Risiko einer verbotenen Nutzung – auch durch Dritte oder in unvorhergesehenen Szenarien.
• Dokumentation: Dokumentiere alle Findings und die getroffenen Maßnahmen für Nachweiszwecke.
• laufende Überwachung: Implementiere Prozesse zur kontinuierlichen Überwachung und Aktualisierung.

Häufig gestellte Fragen zu verbotenen KI-Praktiken

Sind Chatbots mit manipulativen Elementen verboten?

Ja, wenn ein Chatbot gezielt manipulative Gesprächstechniken einsetzt, um Nutzer zu schädlichen Entscheidungen zu verleiten, verstößt er gegen das Verbot subliminaler Manipulation. Auch wenn die Manipulation nicht explizit "schädlich" erscheint, sondern z.B. auf überhöhte Bestellungen abzielt, kann dies als verbotene Praxis gelten.

Kann ich weiterhin Gesichtserkennung für meine Türkamera nutzen?

Die Nutzung von Gesichtserkennung für die Zugangskontrolle an einem privaten Eingang (z.B. Bürogebäude) ist nicht per se verboten. Das Verbot bezieht sich primär auf die "Fernidentifikation im öffentlichen Raum". Dennoch sollten andere Datenschutzbestimmungen (DSGVO) beachtet werden. Bei Unsicherheiten empfiehlt sich eine rechtliche Beratung.

Gilt das Emotionserkennungsverbot auch für meine Recruiting-Software?

Ja, ausnahmslos. Das Verbot erstreckt sich auf den Einsatz von Emotionserkennungssystemen in Arbeits- und Bildungseinrichtungen. Recruiting fällt eindeutig in den Arbeitskontext. Selbst wenn die Software nur zur Analyse von Bewerbungsgesprächen dient, verstößt der Einsatz gegen das KI-Gesetz.

Was passiert, wenn ich ein verbotenes KI-System entdecke?

Wenn du ein verbotenes KI-System in deinem Unternehmen identifizierst, solltest du es unverzüglich außer Betrieb nehmen und den Einsatz beenden. Anschließend ist eine Dokumentation des Vorfalls und der ergriffenen Maßnahmen ratsam. Eine nachträgliche Meldung an Behörden ist in der Regel nicht erforderlich, aber bei zukünftigen Audits kann die proaktive Behebung als positiv gewertet werden.

Fazit

Die verbotenen KI-Praktiken im EU KI-Gesetz sind ein klarer Rahmen für das, was in der Europäischen Union unter keinen Umständen mit KI gemacht werden darf. Für Unternehmen bedeutet das: Nutze die Zeit bis August 2026, um alle KI-Systeme gründlich zu prüfen und gegebenenfalls anzupassen oder abzuschalten.

ComplianceClaw unterstützt dich bei der systematischen Überprüfung deiner KI-Systeme auf verbotene Praktiken. Unser KI-Audit identifiziert Risiken, bewertet die Compliance und liefert konkrete Handlungsempfehlungen – damit du sicher in die Zukunft gehst.