Hochrisiko KI-Systeme: Klassifizierung & Anforderungen

Was macht ein KI-System hochriskant?

Das EU KI-Gesetz (AI Act) definiert hochrisiko KI-Systeme als solche, die ein erhebliches Risiko für die Gesundheit, Sicherheit oder die Grundrechte natürlicher Personen darstellen. Diese Systeme unterliegen den strengsten Anforderungen des Gesetzes – noch vor den allgemeinen Transparenz- und Dokumentationspflichten.

Die Einstufung als hochriskant erfolgt anhand zweier Kriterien: Erstens Systeme, die in Anhang I der Verordnung aufgeführt sind (bestimmte Technologien), und zweitens Systeme, die in einem der in Anhang III genannten Bereiche eingesetzt werden. Beide Kategorien zusammen ergeben eine umfassende Liste kritischer KI-Anwendungen.

Kategorien hochrisiko KI-Systeme nach Anhang III

1. Biometrie und biometrische Fernidentifikation

Hierzu gehören KI-Systeme zur Kategorisierung oder Identifikation natürlicher Personen anhand biometrischer Merkmale. Auch Systeme zur Erkennung von Emotionen auf Basis biometrischer Daten fallen in diese Kategorie, sofern sie nicht unter die verbotenen Praktiken fallen. Gesichtserkennungssysteme, Fingerabdruckscanner mit Analysefunktion und Stimmerkennungssysteme sind typische Beispiele.

2. Kritische Infrastrukturen

KI-Systeme, die zur Verwaltung oder zum Betrieb kritischer Infrastrukturen eingesetzt werden, gelten als hochriskant. Dies umfasst Systeme für Verkehr, Energie, Wasser, Gesundheitswesen und andere lebenswichtige Bereiche. Auch KI-Systeme zur Sicherstellung der Versorgungssicherheit in diesen Bereichen sind eingeschlossen.

3. Bildung und berufliche Bildung

Systeme, die über den Zugang zu Bildung oder beruflicher Ausbildung entscheiden oder dies beeinflussen, sind hochriskant. Dazu gehören auch KI-Systeme zur Bewertung von Lernenden, zur Überwachung von Prüfungen oder zur Bewertung von Bildungs- und Berufsausbildungseinrichtungen. Automatisierte Prüfungssysteme und adaptive Lernplattformen mit Entscheidungsfunktion fallen hierunter.

4. Beschäftigung, Personalmanagement und Zugang zur Erwerbstätigkeit

KI-Systeme für Personalentscheidungen sind besonders sensibel. Dies umfasst Systeme zur Stellenanzeige, Kandidatenbewertung, Entscheidungen über Einstellung oder Ablehnung, Beförderung oder Beendigung von Beschäftigungsverhältnissen sowie zur Überwachung und Bewertung von Arbeitnehmern. Auch Systeme zur Mitarbeiteroptimierung oder Leistungsbewertung fallen in diese Kategorie.

5. Zugang zu wesentlichen Diensten

Systeme, die über den Zugang zu wesentlichen Diensten wie Banken, Versicherungen, Sozialleistungen, Gesundheitsversorgung, Wohnungswesen oder Energie entscheiden, gelten als hochriskant. Auch KI-gestützte Kreditvergabe, Versicherungsprämienberechnung und Behördenentscheidungen sind eingeschlossen.

6. Strafverfolgung und Justiz

KI-Systeme zur Unterstützung von Strafverfolgungsbehörden und der Justiz sind hochriskant. Dies umfasst Systeme zur Risikoeinschätzung von Straftätern (sofern nicht verboten), zur Analyse von Beweisen, zur Vorhersage von Straftaten oder zur Identifikation von Verdächtigen. Auch KI-gestützte Überwachungssysteme in diesem Kontext fallen hierunter.

7. Migration, Asyl und Grenzkontrolle

Systeme zur Unterstützung von Migrations-, Asyl- und Grenzkontrollverfahren gelten als hochriskant. Dies umfasst Chatbots für Migranten, Systeme zur Bewertung von Asylanträgen, zur Erkennung von fingierten Dokumenten oder zur Risikoeinschätzung an Grenzen.

8. Demokratische Prozesse und Wahlen

Relativ neu und weniger bekannt: KI-Systeme, die die Fähigkeit von Personen beeinflussen, zu wählen oder sich an Wahlen zu beteiligen, gelten ebenfalls als hochriskant. Auch Systeme zur Manipulation von Wahlergebnissen oder zur Beeinflussung des demokratischen Prozesses fallen in diese Kategorie.

Die 14 Anforderungen für hochrisiko KI-Systeme

Für hochrisiko KI-Systeme gelten umfassende Anforderungen, die vor dem Inverkehrbringen und während des gesamten Lebenszyklus erfüllt werden müssen. Diese Anforderungen sind in Artikel 9 bis 15 des AI Act festgelegt.

Konformitätsbewertungsverfahren

Bevor ein hochrisiko KI-System in Verkehr gebracht oder in Betrieb genommen werden darf, muss ein Konformitätsbewertungsverfahren durchlaufen werden. Dieses Verfahren stellt sicher, dass alle Anforderungen erfüllt sind.

Die wichtigsten Schritte:

• Interne Konformitätskontrolle: Systematische Prüfung aller Anforderungen vor dem Inverkehrbringen
• Technische Dokumentation: Erstellung einer umfassenden technischen Dokumentation
• Konformitätsbewertung: Bewertung durch die zuständige Behörde oder eine benannte Stelle (abhängig vom Einsatzbereich)
• EU-Konformitätserklärung: Formelle Erklärung, dass alle Anforderungen erfüllt sind
• CE-Kennzeichnung: Anbringung der CE-Kennzeichnung entsprechend der KI-Verordnung
• Registrierung: Eintragung in die EU-Datenbank für hochrisiko KI-Systeme vor dem Einsatz

Beispiele für hochrisiko KI-Anwendungen

Recruiting-Software mit KI

Eine Software, die eingehende Bewerbungen automatisch vorscreent, Schlüsselwörter analysiert und eine Rangliste der geeignetsten Kandidaten erstellt, ist hochriskant. Sie fällt unter die Kategorie "Beschäftigung und Personalmanagement" und unterliegt allen Anforderungen für hochrisiko Systeme.

KI-gestützte Kreditvergabe

Banken setzen zunehmend KI ein, um Kreditentscheidungen zu automatisieren oder zu unterstützen. Solche Systeme sind hochriskant, da sie über den Zugang zu wesentlichen Finanzdienstleistungen entscheiden. Sie müssen strenge Anforderungen an Datenqualität, Transparenz und menschliche Aufsicht erfüllen.

Medizinische Diagnose-KI

KI-Systeme, die Ärzte bei Diagnoseentscheidungen unterstützen, gelten als hochriskant. Sie müssen nicht nur die allgemeinen Anforderungen erfüllen, sondern auch spezifische regulatorische Vorgaben für Medizinprodukte beachten.

Autonome Bewerberauswahl

Wenn ein KI-System nicht nur Bewerbungen sichtet, sondern auch Vorstellungsgespräche führt oder über Einstellungen entscheidet, verstärkt sich das Risikoprofil. Die menschliche Aufsicht muss in solchen Fällen besonders robust sein.

Pflichten für betreibende Unternehmen

Auch wenn du ein hochrisiko KI-System nicht selbst entwickelst, sondern lediglich einsetzt, trägst du als Betreiber erhebliche Verantwortung. Du musst sicherstellen, dass das System den Anforderungen entspricht und korrekt betrieben wird.

• Nutzungsbedingungen: Stelle sicher, dass das System gemäß den Herstellerangaben betrieben wird
• Menschliche Aufsicht: Implementiere Prozesse zur Überwachung und Intervention
• Vorfallmeldung: Melde schwerwiegende Vorfälle und Fehlfunktionen
• Protokollierung: Führe Aufzeichnungen über den Betrieb und relevante Ereignisse
• Registrierung: Registriere den Einsatz in der EU-Datenbank

Fazit

Hochrisiko KI-Systeme unterliegen den strengsten Anforderungen des EU KI-Gesetzes. Für Unternehmen, die solche Systeme entwickeln oder betreiben, ist eine gründliche Vorbereitung unerlässlich. Die Zeit bis August 2026 solltest du nutzen, um alle Systeme zu klassifizieren, erforderliche Dokumentationen zu erstellen und Konformitätsprozesse zu implementieren.

ComplianceClaw unterstützt dich bei der Identifikation hochrisiko KI-Systeme, der Bewertung deiner Compliance und der Implementierung der erforderlichen Maßnahmen. Unser KI-Audit deckt systematisch alle relevanten Aspekte ab und liefert dir konkrete Handlungsempfehlungen.