EU AI Act: Aktueller Stand zur KI-Regulierung

Hinweis: Dieser Artikel stammt aus der Ausgabe 2/2025 der Zeitschrift IT-SICHERHEIT. Das komplette Heft können Sie hier herunterladen. (Registrierung erforderlich)

Die KI-VO ist bereits am 1. August 2024 in Kraft getreten, und am 2. Februar 2025 endeten schon die ersten Umsetzungsfristen. Seitdem finden die regulatorischen Vorgaben aus Kapitel I und II in allen Mitgliedstaaten der Europäischen Union unmittelbare Anwendung. Es lohnt sich daher, einen Blick auf die nun geltenden Vorschriften zu richten.

I. KAPITEL: ART. 1 BIS 4 KI-VO

Mit der Anwendbarkeit des Kapitel I (Art. 1 bis 4 I-VO) gelten zunächst die allgemeinen beziehungsweise einleitenden Bestimmungen aus Art. 1 bis 3 der KI-VO. In erster Linie bedeutet das, dass der Gegenstand und der Zweck der KI-VO (Art. 1), der Anwendungsbereich (Art. 2) und die Begriffsbestimmungen (Art. 3) nun für alle Mitgliedstaaten Anwendung finden. So ist etwa verbindlich und EU-weit festgelegt, was unter einem KI-System im Sinne der KI-VO zu verstehen ist (Art. 3 Nr. 1 KI-VO) und welche Rollen die Akteure künftig einnehmen werden – das heißt, ob ein Akteur als Anbieter, Betreiber, Händler oder Einführer aufritt.

Für die von der Verordnung erfassten Akteure ist die Bedeutung der Art. 1 bis 3 KI-VO zunächst noch eher gering. Denn diese Normen sind nicht als Verhaltensanordnung anzusehen – sie enthalten selbst keine Ge- oder Verbote. Die Rollenverteilung ist allerdings maßgeblich dafür, welche Rechte und Pflichten für die Akteure zukünftig gelten werden.

1. Anforderung an die KI-Kompetenz (Art. 4 KI-VO)

Für alle Unternehmen besteht gemäß Art. 4 jedoch bereits jetzt die Pflicht zur Sicherstellung der KI-Kompetenz – auch AI-Literacy genannt. Als allgemeine Vorschrift gilt dieser Artikel für alle Arten von KI-Systemen, unabhängig von ihrer konkreten Klassifizierung.

Unternehmen, die KI-Systeme anbieten oder betreiben, müssen entsprechende Maßnahmen ergreifen. Sie haben sicherzustellen, dass ihr Personal sowie andere in ihrem Auftrag handelnde Personen über ausreichende KI-Kompetenzen verfügen. Dabei sind die technischen Kenntnisse, praktische Erfahrungen, Ausbildung und Schulung sowie der jeweilige Einsatzkontext der KI-Systeme zu berücksichtigen. Außerdem müssen die Personen oder Personengruppen beachtet werden, bei denen die KI-Systeme eingesetzt werden sollen.

Hinter Art. 4 der KI-Verordnung steht der Gedanke, dass künstliche Intelligenz nur dann sicher genutzt und effektiv gefördert werden kann, wenn alle Beteiligten über ausreichendes Wissen und die nötigen Fähigkeiten im Umgang mit KI verfügen. Nur so lassen sich sowohl die Chancen der KI nutzen als auch die Rechte und Freiheiten der Menschen wirksam schützen.[2]

Zudem kann eine „auf den Menschen ausgerichtete und vertrauenswürdige KI“ (Art. 1 Abs. 1 KI-VO) nur betrieben werden, wenn die Menschen auch tatsächlich in der Lage sind, die Funktionsweise, Einsatzgebiete sowie Vorteile und Risiken des KI-Einsatzes – zumindest in ihren Grundzügen – nachzuvollziehen und die KI dementsprechend zu nutzen.

Hierfür muss den Personen die erforderliche KI-Kompetenz vermittelt werden. Der Begriff der KI-Kompetenz wird in Art. 3 Nr. 56 der KI-VO definiert. KI-Kompetenz umfasst demnach die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten nach der KI-Verordnung ermöglichen, KI‑Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden.

2. Maßnahmen und Umsetzung in der Praxis

Welche konkreten Maßnahmen der Anbieter beziehungsweise der Betreiber ergreifen muss, um die hiernach erforderliche KI-Kompetenz sicherzustellen, formuliert die KI-VO nicht. Die Akteure sind dementsprechend frei in der Wahl der Maßnahmen, solange das erarbeitete Konzept eine ausreichende Kompetenzvermittlung gewährleistet.

Ein KI-Kompetenz-Konzept sollte folgende Aspekte abdecken:

• Rechtliche Aspekte: Die Personen müssen sich mit den Rechten und Pflichten auskennen, die die KI-VO mit sich bringt. Auch Bezüge zu anderen relevanten Gesetzen, wie zur Datenschutz-Grundverordnung (DSGVO) sollten vermittelt werden.
• Technische Aspekte: Die Personen sollten zumindest einen Überblick über die grundlegenden technischen Begriffe erhalten.
• Ethische Aspekte: Soziale und ethische Chancen und Risiken der KI-Nutzung sollten ebenfalls erläutert werden.

Als Maßnahmen zur Umsetzung der KI-Kompetenz kommen die Entwicklung interner Richtlinien und Standards, das Anbieten von Fortbildungen und Schulungen, die Teilnahme an Zertifizierungsprogrammen sowie das Einrichten einer Anlaufstelle in Betracht. Dabei ist besonders wichtig, dass die Maßnahmen auf die Vorkenntnisse der Personen und die Art des Einsatzes der KI abgestimmt werden.

a) Interne Richtlinien und Standards

Zunächst bietet es sich an, für die Nutzung und – sofern einschlägig – auch für die Entwicklung von KI-Systemen, interne Richtlinien und Standards aufzustellen. Diese können dazu beitragen, dass im Unternehmen ein einheitliches Kompetenzniveau etabliert und zugleich das Personal für die Vorteile und Risiken sensibilisiert wird.[3] Inhaltlich sollten die Richtlinien und Standards rechtliche, technische und ethische Grundsätze und Anforderungen enthalten, damit den Personen eine handfeste Anleitung zur Nutzung von KI-Systemen zur Verfügung steht.

b) Fortbildungen und Schulungen

Um die grundlegenden Konzepte und Funktionalitäten der KI-Systeme, ihre Funktionsweise, einschließlich der Produktarten und Verwendungszwecke sowie ihrer Chancen, Beschränkungen und Risiken zu vermitteln, bietet sich ein Schulungs- und Aus-, Weiter- und Fortbildungskonzept an.[4] Dabei sollten sich die Schulungen und Fortbildungen an den Vorkenntnissen und Einsatzbereichen der Tätigkeitsschwerpunkte der Personen orientieren.

Beschäftigte in der IT-Entwicklung benötigen demnach andere Detailkenntnisse, als dies beispielsweise für die Marketing-Abteilung erforderlich ist. Allgemeine Schulungen können beispielsweise durch tätigkeitsbezogene Workshops ergänzt werden.

Neben dem theoretischen Wissen sollten die Personen auch praktisch darin geschult werden, wie sie KI effektiv und rechtskonform einsetzen können. Auch sollten die für den Einsatz von General Purpose AI-Systemen (wie ChatGPT) erforderlichen Techniken (Prompting) und die allgemeine kritische Prüfung der Ergebnisse der KI-Systeme gefördert werden.[5]

Wichtig ist auch, dass es nicht bei einer einmaligen Schulung oder Fortbildung bleibt. Vielmehr sollten Schulungen und Fortbildungen regelmäßig und fortlaufend angeboten werden, um sukzessive technische, gesellschaftliche und rechtliche Entwicklungen abzudecken.

c) Einrichten einer Anlaufstelle

Um zu verhindern, dass sich das erforderliche Wissen an eine rechtlich, technisch und ethisch konforme Implementierung und Nutzung von KI im Unternehmen zersplittert, bietet es sich an, eine zentrale Anlaufstelle – etwa KI-Beauftragte – einzurichten. KI-Beauftragte dienen als Ansprechpersonen für Fragen und Anliegen zum Einsatz von künstlicher Intelligenz und können die Einhaltung der Richtlinien und Standards überwachen und interne Schulungen anbieten.[6] Die Rolle und Aufgaben der KI-Beauftragten lassen sich mit den Datenschutzbeauftragten (Art. 37 ff. DSGVO) vergleichen.

Anders als dies regelmäßig für die Benennung eines Datenschutzbeauftragten der Fall ist, besteht nach der KI-Verordnung jedoch keine Verpflichtung zum Einrichten einer zentralen Anlaufstelle oder Benennung eines KI-Beauftragten.

d) Zertifizierungsprogramme

Bereits jetzt werden von verschiedenen Organisationen und Institutionen Zertifikatslehrgänge im Bereich KI angeboten. Diese Programme bieten den Vorteil, durch formelle Anerkennung der Fähigkeiten und Kenntnisse ein standardisiertes Kompetenzniveau zu gewährleisten.[7] Solche Zertifizierungsprogramme bieten sich besonders für den KI-Beauftragten an. Eine formelle Rechtsfolge
ergibt sich aus dem Abschluss der gegenwärtig verfügbaren Lehrgänge jedoch nicht.

II. KAPITEL: KI-VO: EINSTELLEN VERBOTENER PRAKTIKEN

Seit dem 2. Februar 2025 müssen zudem die sogenannten verbotenen Praktiken eingestellt sein. Art. 5 KI-VO verbietet solche KI-Praktiken, die ein inakzeptabel hohes Risiko – besonders für die Grundrechte – darstellen.[8] Die in Art. 5 KI-VO aufgeführten verbotenen Praktiken gelten als unvereinbar mit dem von der KI-VO verfolgten Ziel einer auf den Menschen ausgerichteten und vertrauenswürdigen künstlichen Intelligenz und dem angestrebten Schutz der Werte der Union, nämlich der Achtung der Menschenwürde, der Freiheit, der Gleichheit, der Demokratie und der Rechtsstaatlichkeit sowie den Grundrechten der Union, einschließlich des Rechts auf Nichtdiskriminierung, des Datenschutzes und des Schutzes der Privatsphäre sowie der Rechte des Kindes (Art. 1 Abs. 1 KI-VO).[9]

Ein kleiner, aber bedeutender Unterschied des Art. 5 KI-VO zu den weiteren Vorschriften der Kapitel III bis V besteht darin, dass Art. 5 nicht in erster Linie an KI-Systeme anknüpft, sondern an KI-Praktiken. Dieser Unterschied im Wortlaut ist kein Versehen und nicht nur theoretischer Natur, sondern wurde bewusst gewählt. Das Verbot knüpft somit nicht an den KI-Systemen selbst, sondern an bestimmte Nutzungsmöglichkeiten einer KI an – damit werden nicht Systeme, sondern konkrete Tätigkeiten untersagt.[10]

Zu beachten ist, dass die Aufzählung in Art. 5 KI-VO abschließend ist – das bedeutet, dass solche KI-bezogenen Tätigkeiten, die keiner der dort aufgezählten Praktiken entsprechen, nicht verboten sind. Die EU-Kommission hat bereits Leitlinien zu den verbotenen KI-Praktiken veröffentlicht, die konkrete Beispiele enthalten und einen Überblick über die inhaltlichen Anforderungen geben.[11] Die acht wichtigsten verbotenen KI-Praktiken nach Art. 5 KI-VO sind:

1. Manipulative oder täuschende KI-Systeme (Art. 5 Abs. 1 lit. a KI-VO)

Der Einsatz von KI-Systemen, die unterschwellige oder absichtlich manipulative Techniken verwenden, um das Verhalten von Personen so zu beeinflussen, dass sie Entscheidungen treffen, die ihnen erheblichen Schaden zufügen können. Erforderlich ist, dass die Manipulation die Betroffenen so deutlich in ihrer Fähigkeit beeinträchtigt, fundierte und autonome Entscheidungen zu treffen, dass eine Entscheidung getroffen wird, die die Person sonst nicht getroffen hätte.[12] Dies kann besonders durch unterschwellige Beeinflussungen, wie auditive oder visuelle Reize, versteckte Ton- oder Videoinhalte oder allgemein durch irreführende Inhalte geschehen, die verhindern sollen, dass andere Inhalte wahrgenommen werden, oftmals unter Ausnutzung kognitiver Verzerrungen und Schwachstellen der Aufmerksamkeit.[13]

2. Ausnutzung von Vulnerabilitäten (Art. 5 Abs. 1 lit. b KI-VO)

Die zweite verbotene KI-Praktik betrifft KI-Systeme, die die Schwachstellen bestimmter Personengruppen aufgrund von Alter, Behinderung oder sozialer beziehungsweise wirtschaftlicher Lage ausnutzen, um deren Verhalten in schädlicher Weise zu beeinflussen. Ausschlaggebend ist, dass die Verhaltensänderung eine kausale Folge der Beeinflussbarkeit infolge der besonderen Schutzbedürftigkeit darstellt.[14] So kann beispielsweise eine KI-Praktik untersagt sein, die gerade daran ansetzt, Menschen mit geistigen Behinderungen zu einem Verhalten zu bewegen, dessen Tragweite diese infolge ihrer Behinderung nicht einschätzen können und dadurch einen Schaden erleiden.

Schwieriger zu bestimmen ist jedoch die Vulnerabilität aufgrund einer bestimmten sozialen oder wirtschaftlichen Situation. In Erwägungsgrund 29 Seite 5 der KI-Verordnung werden diesbezüglich etwa extreme Armut und die Zugehörigkeit zu einer religiösen oder ethnischen Minderheit als Beispiele genannt. Dem liegt die Überlegung zugrunde, dass Personen in benachteiligten sozioökonomischen Situationen in der Regel verletzlicher sind und über weniger Ressourcen und geringere digitale Kenntnisse verfügen als die Allgemeinbevölkerung, was es ihnen erschwert, ausbeuterische KI-Praktiken zu erkennen oder ihnen entgegenzuwirken.[15]

3. Social Scoring (Art. 5 Abs. 1 lit. c KI-VO)

Art. 5 Abs. 1 lit. c der KI-VO verbietet KI-Systeme, die Personen über einen bestimmten Zeitraum basierend auf ihrem Verhalten oder persönlichen Merkmalen bewerten und diese Bewertungen zu ungerechtfertigter oder unverhältnismäßiger Benachteiligung in verschiedenen Lebensbereichen führen. Social Scoring erfordert, dass die Bewertung aufgrund persönlicher Eigenschaften oder
des sozialen Verhaltens ein wertendes Urteil über die Person oder die Personengruppe trifft.[16] Grundsätzlich fallen Bewertungen der Zahlungsfähigkeit und Zahlungswilligkeit nicht unter das Verbot des Social Scoring, solange dieses nicht mit einer wertenden Beurteilung (etwa unzuverlässig/zuverlässig) verbunden wird.[17]

4. Vorhersage von Straftaten (Art. 5 Abs. 1 lit. d KI-VO)

Verboten ist es, KI-Systeme einzusetzen, die ausschließlich auf Profiling basieren oder persönliche Merkmale und Eigenschaften bewertet, um das Risiko vorherzusagen, dass eine Person eine Straftat begehen könnte, ohne dass hierfür objektive und überprüfbare Fakten vorliegen. Hierunter würde zum Beispiel ein KI-System fallen, welches zur Vorhersage kriminellen oder terroristischen Verhaltens eine Bewertung allein auf der Grundlage des Alters, der Nationalität, der Adresse oder ähnlicher Faktoren vornimmt, denen es an einem überprüfbaren Zusammenhang mit künftig bevorstehenden Straftaten mangelt.[18]

Demgegenüber gilt das Verbot nicht für KI-Systeme, die die menschliche Beurteilung einer Straftatbeteiligung von Personen unterstützen, sofern diese Beurteilung auf objektiven und verifizierbaren Fakten basiert, die in Bezug zu einer kriminellen Aktivität stehen.[19]

5. Erstellung von Gesichtserkennungsdatenbanken (Art. 5 Abs. 1 lit. e KI-VO)

Nach Art. 5 Abs. 1 lit. e KI-VO ist das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder Videoüberwachungsaufnahmen zur Erstellung oder Erweiterung von Datenbanken für die Gesichtserkennung untersagt. Die Daten müssen derart aufbereitet sein, dass sie sich für Zwecke einer biometrischen Identifizierung oder Verifizierung eignen.[20] Ungezielt ist das Auslesen, wenn
kein Bezug zu einem konkreten Anlass besteht, sondern nur zu dem Zweck erfolgt, der Datenbank weitere Profile hinzuzufügen.[21]

6. Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (Art. 5 Abs. 1 lit. f KI-VO)

Ebenfalls untersagt ist der Einsatz von KI-Systemen zur Ableitung von Emotionen von Personen in Arbeits- oder Bildungskontexten, es sei denn, dies geschieht aus medizinischen oder sicherheitstechnischen Gründen. Das Verbot gilt deshalb für den Arbeits- und Bildungsbereich, weil hier regelmäßig ein besonderes Machtungleichgewicht herrscht[22] und die Befürchtung besteht, dass das Erkennen negativer Emotionen sich für die Betroffenen nachteilig auswirkt.

7. Biometrische Kategorisierung (Art. 5 Abs. 1 lit. g KI-VO)

Von dieser Gruppe sind KI-Systeme erfasst, die Personen basierend auf biometrischen Daten in Kategorien wie Ethnie, politische Meinungen, religiöse Überzeugungen oder sexuelle Orientierung einteilen. Es geht dabei nicht darum, eine Person zu identifizieren oder ihre Identität zu überprüfen, sondern darum, eine Person einer bestimmten Kategorie zuzuordnen.[23] Daher wäre ein KI-System verboten, das die Nutzer einer Social-Media-Plattform nach ihrer vermuteten sexuellen Orientierung kategorisiert, indem es die biometrischen Daten von Fotos analysiert.[24]

Das Verbot gilt jedoch nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, wie Bilder auf der Grundlage biometrischer Daten oder die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung.

8. Biometrische Echtzeit-Fernidentifizierung (Art. 5 Abs. 1 lit. h KI-VO)

Grundsätzlich untersagt ist auch die unmittelbare Erkennung und Identifizierung von Personen aus der Ferne anhand biometrischer Merkmale – etwa der Gesichtszüge – durch den Abgleich mit Referenzdatenbanken, wenn dies ohne aktive Mitwirkung der betroffenen Person erfolgt. Hintergrund ist nach Erwägungsgrund 32 KI-VO, dass die Verwendung solcher Systeme besonders tief in die Rechte und Freiheiten der Betroffenen eingreift, da sie die Privatsphäre eines großen Teils der Bevölkerung beeinträchtigt, ein Gefühl der ständigen Überwachung weckt und indirekt von der Ausübung kommunikativer Grundrechte (zum Beispiel die Versammlungsfreiheit, Art. 8 Grundgesetz) abhalten kann. Zu Zwecken der Strafverfolgung und -verhütung können solche KI-Systeme jedoch unter
strengen Bedingungen erlaubt sein (Art. 5 Abs. 1 lit. h Ziff. i-iii und Abs. 2 bis 6 KI-VO).

III. AUSBLICK

Diese ersten geltenden Kapitel legen somit den Grundstein für einen verantwortungsvollen und ethischen Umgang mit KI in der EU. Doch dies ist erst der Anfang. Am 2. August dieses Jahres werden weitere zentrale Kapitel der Verordnung in Kraft treten, die den Rechtsrahmen vervollständigen und präzisieren werden. Zu den zukünftig anwendbaren Regelungen gehören[24] detaillierte Vorgaben
für Hochrisiko-KI-Systeme, einschließlich strenger Konformitätsbewertungen, spezifische Transparenzpflichten für bestimmte KI-Anwendungen wie Chatbots oder Deepfakes oder die Etablierung von Mechanismen zur kontinuierlichen Überwachung und Anpassung der Regelungen an technologische Entwicklungen.

Die KI-Verordnung beschreibt den Rahmen, in dem die KI-Entwicklung und KI-Anwendung in Europa erfolgen müssen. Eine neue Regulierung schafft unternehmensintern immer Aufwände und anfänglich fehlt es an der für Unternehmen dringend benötigten Rechtssicherheit. Eine frühzeitige und kontinuierliche Auseinandersetzung mit den unternehmenseigenen KI-Use-Cases und den Fragen und Annahmen der eigenen Teams stellt jedoch sicher, dass alle beteiligten Personen die Leitplanken des neuen Rechtsrahmens verstehen und schließlich bestmöglich Gebrauch von allen technischen Innovationen machen können.

Literatur

[1] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz).
[2] Martini/Wendehorst/Wendehorst, KI-VO, Art. 4, Rn. 1; Fleck, KIR 2024, 99 (100).
[3] Martini/Wendehorst/Wendehorst, KI-VO, Art. 4, Rn. 12.
[4] Martini/Wendehorst/Wendehorst, KI-VO, Art. 4, Rn. 13.
[5] Martini/Wendehorst/Wendehorst, KI-VO, Art. 4, Rn. 17.
[6] Martini/Wendehorst/Wendehorst, KI-VO, Art. 4, Rn. 19.
[7] Martini/Wendehorst/Wendehorst, KI-VO, Art. 4, Rn. 15.
[8] Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 1.
[9] Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 1.
[10] Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 2; Roth-Isigkeit, KIR 2024, 15 (17).
[11] Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act), C(2025) 884 final.
[12] Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 24, 40; Heinze/Engel, KIR 2025, 19 (24).
[13] Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 36; Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act), C(2025) 884 final, Rn. 65.
[14] Heinze/Engel, KIR 2024, 19 (26).
[15] Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act), C(2025) 884 final, Rn. 110.
[16] Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 66.
[17] Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 67.
[18] Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act), C(2025) 884 final, Rn. 202.
[19] Becker/Feuerstack, KIR 2024, 62 (66); Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 85.
[20] Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 95.
[21] Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 96.
[22] Martini/Wendehorst/Wendehorst, KI-VO, Art. 5, Rn. 99.
[23] Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act), C(2025) 884 final, Rn. 276.
[24] Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act), C(2025) 884 final, Rn. 280.