Die neue KI-Verordnung und ihre Auswirkungen auf die IT-Sicherheit: Das kommende KI-Gesetz im Fokus

Künstliche Intelligenz (KI) ist bereits jetzt aus dem privaten Alltag wie auch aus der Geschäftswelt nicht mehr wegzudenken. KI-Systeme sind in medizinischen Geräten implementiert, bilden ein Kernelement des autonomen Fahrens, ermöglichen die smarte Elektrizitätsversorgung mittels Smart Grids oder unterstützen bei der Risikokalkulation in Versicherungen. Die Liste der Einsatzgebiete ließe sich seitenweise fortführen. Und die Bedeutung von KI nimmt immer weiter zu. Auch beim jüngsten Weltwirtschaftsforum in Davos war die Technologie eines der wichtigsten Themen.

KI-Systeme nehmen in vielen Sektoren bereits zentrale Stellungen ein, oftmals auch in sensiblen Bereichen. Sie werden damit zu besonders kritischen Zielen für Cyberangriffe. Dabei können KI-Systeme beispielsweise manipuliert, Daten gestohlen oder ganze IT-Systeme lahmgelegt werden.

Auch die EU hat die hohe gesellschaftliche Relevanz von KI erkannt und ist im Begriff, die sogenannte KI-Verordnung (KI-VO) zu verabschieden. Die Verordnung soll einen umfangreichen Rechtsrahmen für die Entwicklung und den Einsatz von KI in der gesamten Union und teilweise sogar darüber hinaus schaffen. Auch auf die Anforderungen an KI hinsichtlich der IT-Sicherheit von KI wird sich die KI-VO auswirken. Die folgenden Ausführungen sollen daher zuerst einen Überblick über die Verordnung selbst geben und anschließend den Fokus auf die KI-VO im Zusammenspiel mit der IT-Sicherheit legen.

Die KI-Verordnung – ein Überblick

Allgemeines und Stand des Gesetzgebungsverfahrens

Der erste Entwurf zur KI-VO wurde im April 2021 von der EU-Kommission vorgelegt, nachdem diese sowohl vom EU-Parlament als auch vom EU-Ministerrat dazu aufgefordert wurde, einen Vorschlag für die Regulierung von KI zu erstellen. Auf Grundlage dessen entwarfen die beiden Gesetzgebungsorgane eigene Kompromissvorschläge. Es folgte der Trilog, in dem Parlament, Ministerrat und Kommission sich auf den finalen Verordnungstext einigten. Die Einigung gelang im Dezember 2023 unter der spanischen Ratspräsidentschaft. Im Februar 2024 soll die finale Abstimmung über die KI-VO erfolgen. Seit dem 22. Januar 2024 ist der vermutlich endgültige Verordnungstext jedoch öffentlich verfügbar, nachdem er von mehreren Journalist:innen geleakt wurde.

Es ist zu erwarten, dass die Verordnung noch vor der Wahl des Europäischen Parlaments im Juni 2024 in Kraft treten wird, gut möglich sogar noch im ersten Quartal des Jahres. Anschließend wird es grundsätzlich eine zweijährige Umsetzungsfrist geben. Gewisse Regelungen sollen jedoch bereits sechs Monate nach Inkrafttreten der Verordnung gelten. Dies sind die allgemeinen Bestimmungen aus Titel I, die insbesondere Anwendungsbereich und Definitionen beinhalten, sowie Titel II, in dem gewisse Praktiken verboten werden. Zwölf Monate nach dem Inkrafttreten müssen die Mitgliedstaaten sogenannte notifizierte Stellen eingerichtet haben, zudem sollen bis dahin ein europäischer Ausschuss für künstliche Intelligenz sowie nationale Aufsichtsbehörden eingerichtet werden. Die Bestimmungen hinsichtlich General Purpose KI sowie zu Vertraulichkeit und Sanktionen sollen ebenfalls bereits nach zwölf Monaten zu beachten sein. Die Bestimmungen für Hochrisiko-KI nach Anhang II zur KI-VO, ein Herzstück der Verordnung, sollen hingegen erst nach 36 Monaten Anwendung finden.

Der Anwendungsbereich der Verordnung

Der sachliche Anwendungsbereich der KI-VO bestimmt sich über Art. 3 Abs. 1 der Verordnung, in der künstliche Intelligenz erstmals gesetzlich definiert wird. Die Definition war über den gesamten Gesetzgebungsprozess Gegenstand von Diskussionen und entspricht in ihrer finalen Form keiner der zwischenzeitlich gemachten Vorschläge. Vielmehr orientiert sie sich an der jüngst aktualisierten Definition für KI der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD).

Frei übersetzt aus dem englischen Entwurfstext ist ein KI-System danach „[…] ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operieren kann und nach seiner Einführung eine Anpassungsfähigkeit aufweist, und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, wie es Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen kann, die physische oder virtuelle Umgebungen beeinflussen können.“

Jede Technik, die unter diese Definition zu subsumieren ist, wird in Zukunft grundsätzlich unter das Regime der KI-VO fallen. Gewisse Ausnahmen sollen jedoch für Open-Source-Software, privat genutzte KI, Forschung zu KI und KI für Sicherheits- und Verteidigungszwecke gelten.

Der persönliche Anwendungsbereich der KI-VO umfasst insbesondere Anbieter und Betreiber von KI-Systemen. Als Anbieter gelten alle natürlichen oder juristischen Personen, Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System entwickeln oder entwickeln lassen, um es unter eigenem Namen oder ihrer Marke auf den Markt zu bringen oder selbst zu verwenden. Betreiber sind diejenigen natürlichen oder juristischen Personen, Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System unter der eigenen Verantwortung verwenden.

Zudem wird die KI-VO Vorgaben für Einführer und Händler von KI-Systemen sowie Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen, enthalten.

In ihrem räumlichen Anwendungsbereich soll die Verordnung für alle Anbieter gelten, die ein KI-System in der Union auf den Markt bringen oder verwenden, unabhängig davon, ob sie in der Union oder einem Drittland niedergelassen sind. Für Betreiber gilt die KI-VO, wenn sie in der EU niedergelassen sind. Zudem gilt die Verordnung für Anbieter und Betreiber von KI-Systemen, die zwar in einem Drittland ansässig sind, sofern jedoch die Arbeitsergebnisse des KI-Systems in der EU genutzt werden. Die KI-VO wird damit einen extraterritorialen Anwendungsbereich haben und es ist zu erwarten, dass Unternehmen weltweit sich an die Vorgaben der Verordnung halten müssen. So wird das europäische KI-Gesetz voraussichtlich auch die Regulierung von KI weltweit beeinflussen. Diesen sogenannten „Brussels effect“ hatte bereits die DSGVO für das Datenschutzrecht weltweit.

Der risikobasierte Ansatz

Als grundsätzliches Regelungsgerüst zieht sich der risikobasierte Ansatz durch die gesamt KI-VO. Danach soll sich die Strenge der Anforderungen, die für die Entwicklung und den Einsatz von KI-Systemen gelten, nach dem Risiko richten, das von dem jeweiligen System ausgeht. Dafür unterscheidet der Verordnungstext in vier verschiedene Risikogruppen.

Verbotene KI-Praktiken umfassen Systeme, von denen ein derart großes Risiko ausgeht, dass sie in der Union gänzlich verboten werden sollen. Sie sind in Art. 5 der KIVO aufgezählt. Dazu zählen beispielsweise KI-gestütztes Social Scoring, grundsätzlich die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen durch Strafverfolgungsbehörden sowie KI-Systeme, die durch unterschwellige Beeinflussung Personen zu einem selbst- oder fremdschädigenden Verhalten veranlassen.

Ferner führt die KI-VO sogenannte Hochrisiko-KI ein. Also KI-Systeme, von denen ein so hohes Risiko ausgeht, dass strenge regulatorische Anforderungen an ihre Entwicklung und ihren Einsatz geknüpft werden. Sie können als der Hauptregelungsgegenstand der KI-VO angesehen werden. Die Zugehörigkeit zu dieser Risikogruppe bestimmt sich über Art. 6 KI-VO sowie über die Anhänge II und III. Zum einen sind danach solche Systeme als Hochrisiko-KI einzustufen, die Sicherheitskomponente eines Produktes oder selbst ein Produkt sind, welches unter die in Anhang II gelisteten Harmonisierungsvorschriften fällt. Die dortige Aufzählung ist lang und Unternehmen, die KI entwickeln oder nutzen, sollten sich unbedingt damit auseinandersetzen.

Umfasst sind etwa Systeme, die unter die Maschinenrichtlinie, die Medizinprodukte-Verordnung oder die Funkanlagenrichtlinie fallen. Zum anderen handelt es sich bei Systemen, die unter den Anhang III fallen, um Hochrisiko-KI. Der Anhang umfasst viele Systeme, die je nach Branche, weit verbreitete Anwendung finden. So zum Beispiel KI-Systeme, die als Sicherheitskomponenten in kritischer digitaler Infrastruktur, Straßenverkehr sowie der Wasser-, Gas-, Wärme- und Stromversorgung genutzt werden, bestimmte KI-Systeme, die in Bewerbungsprozessen oder in der Personalverwaltung eingesetzt werden sowie KI-Systeme in der Risikokalkulation und Bepreisung von Policen in Versicherungen. Da die Anforderungen für Hochrisiko-KI sehr umfangreich und komplex sein werden, ist es für Unternehmen unabdingbar, schon jetzt festzustellen, ob sie davon betroffen sein werden.

Darüber hinaus regelt die Verordnung KI-Systeme mit geringem Risiko. Bei diesen handelt es sich vor allem um KI, die dafür bestimmt ist, mit Menschen zu interagieren. Hauptsächlich soll bei deren Nutzung garantiert werden, dass natürlichen Personen mitgeteilt wird, dass sie es mit einer KI zu tun haben. Outputs sollen als KI-generiert gekennzeichnet werden und Anbieter von General Purpose KI, wie etwa ChatGPT, müssen (unter Einschränkungen) sicherstellen, dass ihre technischen Lösungen wirksam, interoperabel, robust und zuverlässig sind.

Zuletzt werden in der Gesetzesbegründung zum Verordnungsvorschlag KI-Systeme mit minimalem Risiko genannt. Das von ihnen ausgehende Risiko soll jedoch so klein sein, dass sie nicht dem Anwendungsbereich der KI-VO unterfallen sollen. Für sie erwachsen aus der kommenden Verordnung daher keine Verpflichtungen. Jedoch sieht die KI-VO die Einführung von freiwilligen Verhaltenskodexen vor, die sich an den Vorgaben der Verordnung orientieren und auch für KI mit minimalem Risiko eingeführt werden können.

Die Pflichten für Hochrisiko-KI

Für Hochrisiko-KI enthält die kommende KI-VO einen extensiven Pflichtenkatalog. Diese Pflichten richten sich zuvörderst an Anbieter von Hochrisiko-KI-Systemen. Dazu zählt beispielsweise die Pflicht, ein Risikomanagement-System einzurichten, Pflichten hinsichtlich der verwendeten Datensätze und der Daten-Governance sowie Transparenz- und Dokumentationspflichten. Zudem sollen Anbieter von Hochrisiko-KI-Systemen ein Konformitätsbewertungsverfahren für diese durchführen.

Jedoch sind auch Pflichten für Betreiber und andere Akteure in der KI-Wertschöpfungskette enthalten. Für Betreiber umfasst dies etwa die Pflicht, eine menschliche Aufsicht zu bestimmen sowie Verpflichtungen hinsichtlich der Eingabedaten. Außerdem können unter bestimmten Voraussetzungen auch alle anderen Akteure Adressaten der umfangreichen Anbieterpflichten werden. So zum Beispiel, wenn sie eine bereits existierende Hochrisiko-KI mit ihrem Namen oder ihrer Marke versehen oder wesentliche Änderungen an einer bestehenden Hochrisiko-KI vornehmen.

General Purpose KI

Als General Purpose (GP) KI (deutsch: KI mit allgemeinem Verwendungszweck) definiert die KI-VO solche KI-Modelle, die ein Spektrum unterschiedlicher Aufgaben kompetent auszuführen können, unabhängig davon, wie das Modell auf den Markt gebracht wird, und das in eine Vielzahl von nachgelagerten Systemen oder Anwendungen integriert werden kann. Darunter fallen beispielsweise Large Language Models wie ChatGPT. Im ursprünglichen Verordnungsentwurf war diese Klassifizierung für KI nicht vorgesehen, weshalb sie außerhalb der Risikotaxonomie der Verordnung stehen. In der finalen Version wurde den General-Purpose-Modellen mit Titel VIII A nun sogar ein eigener Abschnitt gewidmet.

Darin werden die Modelle in einem abgestuften Ansatz geregelt: Es wird unterschieden zwischen allgemeinen GP-Modellen und GP-Modellen, von denen ein systemisches Risiko ausgeht. Letztere umfasst solche KI, die einen bestimmten Schwellenwert an Rechenressourcen für das Training erreicht. Die EU-Kommission wird ermächtigt, delegierte Rechtsakte zu erlassen, um die Schwellenwerte zu ändern, oder weitere Kriterien zu bestimmen, wann von einem Modell ein systemisches Risiko anzunehmen ist.

Für alle GP-Modelle sollen grundlegende Dokumentations- und Informationspflichten sowie bestehendes EU-Urheberrecht und die Pflicht zur Zusammenfassung der zum Training verwendeten Inhalte bestehen. Für Modelle mit einem systemischen Risiko gilt zudem die Verpflichtung zur Bewertung der systemischen Risiken, kontradiktorische Tests durchzuführen, über Zwischenfälle unverzüglich an ein einzurichtendes europäisches KI-Büro und die nationalen Aufsichtsbehörden zu berichten sowie ein hohes Maß an Cybersicherheit für die Modelle und ihre physische Infrastruktur zu gewährleisten.

Sanktionsregime

Für den Fall der Nichteinhaltung sieht die KI-VO teilweise sehr hohe Bußgelder vor. Wie hoch diese im Einzelfall tatsächlich ausfallen werden, richtet sich nach der Art des Verstoßes. Bis zu 35 Millionen Euro oder 7 Prozent des gesamten weltweiten Jahresumsatzes können fällig werden, je nachdem welcher Betrag der höhere ist. In den meisten Fällen werden Sanktionen jedoch wesentlich niedriger ausfallen. Insbesondere für kleine und mittlere Unternehmen (KMU) sollen die Bußgelder niedriger sein.

Die KI-VO und IT-Sicherheit

KI als Zielscheibe für Cyberattacken

Die Berührungspunkte zwischen KI und IT-Sicherheit sind aufgrund der steigenden Präsenz der Technologie immer vielfältiger. Die KI-VO wurde in Kenntnis der Attraktivität von KI-Systemen als Ziel von Cyberattacken unter anderem mit dem Ansinnen auf den Weg gebracht, einen höheren Sicherheitsstandard für KI-Systeme zu schaffen.

Denn Cyberangriffe auf KI können KI-spezifische Ressourcen wie Trainingsdatensätze oder trainierte Modelle in den Fokus nehmen und schaffen damit neue Herausforderungen im Bereich der IT-Sicherheit. Brechen Hacker in ein System ein, eröffnet ihnen dies in vielen Fällen immense Handlungsmöglichkeiten. Ein erfolgreicher Angriff auf KI-Systeme kann nicht nur die Integrität der Modelle selbst gefährden, sondern auch die Zuverlässigkeit von Entscheidungsfindungen beeinträchtigen. Dies ist besonders gefährlich in Bereichen, in denen KI-Systeme etwa mit sensiblen Daten arbeiten oder in kritischen Infrastrukturen eingesetzt werden. Es ist wesentlich zu berücksichtigen, dass die Rolle von KI-Systemen im Kontext der IT-Sicherheit eine doppelte Dimension hat.

Einerseits müssen die Sicherheitsaspekte der KI-Systeme selbst analysiert werden, um potenzielle Schwachstellen zu identifizieren und abzusichern. Andererseits ist es von Bedeutung, das Potenzial von KI-basierten Lösungen zur Verbesserung der allgemeinen IT-Sicherheitslandschaft zu erkennen. KI-Systeme können beispielsweise bei der Erkennung und Abwehr von Cyberangriffen eine zentrale Rolle spielen. Gleichzeitig ist es jedoch unerlässlich, sich der Tatsache bewusst zu sein, dass KI-Technologien ebenfalls für die Durchführung von Cyberangriffen eingesetzt werden können. Diese doppelte Natur der KI in der IT-Sicherheit erfordert eine ausgewogene und umfassende Betrachtungsweise.

IT-Sicherheitsrechtliche Anforderungen aus der KI-VO 

Die in Bezug auf die IT-Sicherheit geltenden Anforderungen an KI werden in Art. 15 KI-VO geregelt. Diese Vorschrift bezieht sich ausschließlich auf Hochrisiko-KI und schreibt vor, dass diese so zu konzipieren und entwickeln sind, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen, und zwar während ihres gesamten Lebenszyklus. Ein genaues System minimiert Fehlalarme und erkennt effektiv echte Sicherheitsbedrohungen.

Bei KI-gestützten Sicherheitssystemen ist die Genauigkeit des Modells entscheidend, um sicherzustellen, dass es zuverlässig arbeitet und echte Bedrohungen erkennt, ohne übermäßig viele Fehlalarme auszulösen. Ein robustes System bleibt auch unter widrigen Bedingungen oder bei gezielten Angriffsversuchen funktionsfähig. Im Kontext von KI und maschinellem Lernen bezieht sich Robustheit auf die Fähigkeit von Modellen, korrekt zu funktionieren,
auch wenn sie mit manipulierten oder irreführenden Eingabedaten konfrontiert werden.

Dies ist besonders wichtig, da KI-Systeme anfällig für sogenannte Adversarial Attacks ( feindliche Angriffe) sein können, bei denen Eingabedaten gezielt so verändert werden, dass das System getäuscht wird. Adversarial Attacks zielen darauf ab, Machine-Learning-Modelle mittels der manipulierten Eingabedaten zu Fehlklassifikationen zu führen. Diese Angriffe sind besonders in sicherheitskritischen Bereichen wie autonomem Fahren relevant.

Die Einführung bösartiger Daten oder die Beeinflussung von Klassifizierern sind häufige Methoden solcher Angriffe. Auf diese Art von Attacken nimmt auch Erwägungsgrund 51 zu KI-VO Bezug, der die IT-Sicherheitsanforderungen der Verordnung zusätzlich erläutert. Darüber hinaus spricht er auch das Data Poisoning („Datenvergiftung“) an. Dies stellt eine weitere Bedrohung dar, bei der Trainingsdaten von KI-Modellen mit falschen Informationen kontaminiert werden, um die Modellleistung zu beeinträchtigen.

Das Cybersecurity-Erfordernis aus der KI-VO für Hochrisiko-KI lässt sich so zusammenfassen, dass die Systeme widerstandsfähig gegen Versuche sein müssen, ihre Nutzung, ihr Verhalten und ihre Leistung zu verändern. Um diese Ziele zu erreichen, müssen entsprechende organisatorische und technische Lösungen implementiert werden. Zudem ist eine Bewertung der Cybersicherheitsrisiken vorzunehmen. Die technischen Lösungen müssen den jeweiligen Umständen und Risiken angemessen sein.

Zudem müssen Anbieter von Hochrisiko-KI diese gem. Art. 13 KI-VO mit Gebrauchsanleitungen für Betreiber ausstatten. Diese müssen unter anderem Informationen über die IT-Sicherheit eines Systems nach Art. 15 KI-VO enthalten. Darüber hinaus müssen Anbieter von Hochrisiko-KI technische Dokumentationen durchführen, in denen die eingerichteten Cybersecurity-Maßnahmen aufgeführt werden. Ferner müssen für alle Hochrisiko-KI-Systeme Konformitätsbewertungsverfahren durchgeführt werden, aus denen hervorgeht, dass sie die Anforderungen der Verordnung erfüllen, zu denen auch die Cybersecurity gehört.

IT-Sicherheitsanforderungen stellt die KI-VO zudem für GP-Modelle mit einem systemischen Risiko auf. Für alle sonstigen GP-Modelle fehlt ein solches Erfordernis jedoch. In Anbetracht der immer verbreiteteren Verwendung derartiger Modelle in allen Lebensbereichen scheint ein solches Erfordernis etwas zu fehlen. Zu beachten ist freilich, dass GP-Modelle, die unter die den Anwendungsbereich der Hochrisiko-KI fallen, freilich auch die Vorgaben für diese befolgen müssen.

Die KI-VO im Zusammenspiel mit dem Cybersecurity Act

Die KI-VO wird sich mit Inkrafttreten in eine Reihe von bereits bestehenden und noch kommenden Gesetzen eingliedern, die die Stärkung der IT-Sicherheit zum Ziel haben. Im Zusammenspiel ist unter diesen wohl vor allem der im Juni 2019 in Kraft getretene Cybersecurity Act (CSA) von Bedeutung. Das Gesetz enthält zum einen ein permanentes Mandat für die europäische Cybersicherheitsagentur ENISA und zum anderen einen Rahmen für die Sicherheitszertifizierung von Produkten, Dienstzeitungen und Prozessen. Dabei wird es bei Techniken, die sowohl unter den Anwendungsbereich des CSA als auch der KI-VO teilweise zu Überlappungen kommen, da letztere ebenfalls ein Zertifizierungsverfahren vorsieht.

Um diesbezüglich Synergien zu nutzen, verweist die KI-VO in Art. 42 Abs. 2 direkt auf den CSA und normiert, dass bei KI-Systemen, die nach diesem bereits eine Zertifizierung erhalten haben, die Vermutung besteht, dass sie den Anforderungen des Art. 15 KI-VO genügen. Zumindest hinsichtlich des Cybersecurity-Erfordernisses können sich Unternehmen die Überschneidungen hier folglich zunutze machen. Die Zertifizierungsverfahren aus beiden Verordnungen unterscheiden sich jedoch teilweise, sodass Abweichungen und Eigenheiten dabei stets im Blick gehalten werden müssen.

Fazit

Die KI-VO ist das erste Gesetz, das die Entwicklung und die Nutzung von KI umfassend regelt. Sie markiert damit einen Meilenstein in der KI-Regulierung und soll dazu beitragen, das Vertrauen in KI-Technologien zu stärken und ihre sichere Nutzung zu fördern. Sie adressiert die wachsende Bedeutung von KI-Systemen in verschiedenen Sektoren und hat dabei auch Implikationen für die IT-Sicherheit der Modelle. Da die Anforderungen der Verordnung mitunter komplex sein können, gilt es für Unternehmen, sich bereits jetzt darauf vorzubereiten.

Dabei ist zunächst festzustellen, ob die eigenen Technologien überhaupt unter den Anwendungsbereich der KI-VO fallen und anschließend, welcher Risikoklasse sie zuzuordnen sind. Insbesondere für Hochrisiko-KI sind strenge Vorgaben enthalten, die sich auch auf die IT-Sicherheit der Systeme auswirken. In der Compliance mit der Verordnung lassen sich teilweise Synergien mit anderen Gesetzen feststellen, wie etwa mit dem Cybersecurity Act. Dabei sind jedoch stets die spezifischen Anforderungen der Regelwerke zu betrachten.

Die Entwicklung von Standards und Prüfkriterien zur Bewertung der Sicherheit von KI-Systemen, vor allem in sicherheitskritischen Anwendungen, benötigt besondere Aufmerksamkeit. Die Kombination aus technischer Expertise und regulatorischer Perspektive ist dabei entscheidend, um sowohl bestehende als auch potenzielle Risiken effektiv zu managen.