Home » Fachbeiträge » Allgemein » KI und IT-Governance: Was Unternehmen wissen müssen

Die KI-Revolution (4): KI und IT-Governance: Was Unternehmen wissen müssen

Künstliche Intelligenz (KI) ist bereits heute ein unverzichtbares Werkzeug für Unternehmen, die ihre Wettbewerbsfähigkeit stärken und neue technologische Möglichkeiten ausschöpfen wollen. Mit der zunehmenden Verbreitung von KI-Systemen beziehungsweise KI-Modellen gehen jedoch auch bedeutende rechtliche Herausforderungen einher. Unsere Autoren geben einen umfassenden Überblick.

18 Min. Lesezeit
Abstrakte Collage zu KI und Gesetzen
Foto: ©AdobeStock/koldunova

Vor allem die am 1. August 2024 in Kraft getretene KI-Verordnung (EU) 2024/1689 (KI-VO) und weitere relevante Gesetze schaffen neue Regeln für die Entwicklung, die Nutzung und den Vertrieb von KI-Systemen. Unternehmen, die im Bereich der künstlichen Intelligenz tätig sind, müssen sich aktiv mit diesen neuen Vorschriften auseinandersetzen, um rechtliche Risiken zu minimieren und ihre Compliance sicherzustellen. Im Folgenden werden die wichtigsten Aspekte dieser neuen Rechtslage für Unternehmen zusammengefasst.

Europäische KI-Verordnung

Die Europäische Union hat, als Vorreiter in der Regulierung von KI-Systemen, weltweit die Aufmerksamkeit anderer Gesetzgeber sicher. Mit der Verabschiedung der KI-Verordnung am 21. Mai 2024, der Produkthaftungsrichtlinie und der Produktsicherheitsverordnung hat die EU einen umfassenden Rechtsrahmen geschaffen, der sicherstellen soll, dass KI-Systeme transparent und im Einklang mit den ethischen Leitlinien der EU[1] entwickelt und genutzt werden. In diesem Zusammenhang arbeitet die EU zudem eng mit internationalen Partnern zusammen, um globale Standards für KI zu setzen und die internationale Zusammenarbeit im Bereich der KI-Regulierung zu fördern, wie zum Beispiel im Rahmen des veröffentlichten Verhaltenskodex für künstliche Intelligenz der G7-Staaten.[2]

Die KI-Verordnung der Europäischen Union (Verordnung (EU) 2024/1689)[3] bildet primär den zentralen rechtlichen Rahmen für die Entwicklung, die Implementierung und den Betrieb von KI-Systemen in der EU und orientiert sich unter anderem an den OECD KI-Prinzipien[4], die weltweit als Leitfaden für die Entwicklung und Nutzung von KI-Systemen beziehungsweise KI-Modellen und als Empfehlungen an politische Entscheidungsträger für eine wirksame KI-Politik dienen. Heute verwenden die Europäische Union, der Europarat, die Vereinigten Staaten, die Vereinten Nationen sowie andere, meist westlich geprägte Länder, die OECD-Definition eines KI-Systems
und die Regulierung der Systeme mit Blick auf dessen gesamtheitlichen Lebenszyklus in ihren Rechts- und Verwaltungsrahmen. In diesem Zusammenhang ebenso zu berücksichtigen ist das „Framework for the classification of AI systems“ der OECD vom Februar 2022.[5]

Definition eines KI-Systems

Die KI-VO definiert ein KI-System als „… ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“. In diesem Zusammenhang sind drei Kriterien wesentlich: (1) das System muss Ziele verfolgen, (2), das System muss Ergebnisse hervorbringen und (3) diese Ergebnisse wiederum müssen geeignet sein, Einfluss auf die Umgebung des Systems nehmen zu können.[6]

Risikoklassifizierung von KI-Systemen

Ein zentraler Bestandteil der KI-VO ist die risikoorientierte Klassifikation von KI-Systemen. Diese Klassifikation unterscheidet grundsätzlich zwischen vier Kategorien:

  • Verbotene Praktiken (Art. 5 KI-VO): Hierunter fallen KI-Systeme, deren Einsatz eine unzulässige Gefahr für die Grundrechte darstellt, wie etwa Systeme, die soziale Bewertung durch die Behörden ermöglichen.
  • Hochrisiko-KI-Systeme (Art. 6 KI-VO): Diese Systeme unterliegen strengen Vorschriften und umfassen unter anderem Systeme, die in der Strafverfolgung oder im Bildungswesen verwendet werden.
  • KI-Systeme mit beschränktem Risiko (Art. 50 KI-VO): Diese Systeme müssen bestimmte Transparenzanforderungen erfüllen, wie die Offenlegung der KI-gestützten Entscheidungsfindung.
  • KI-Systeme mit geringem Risiko (Art. 95 KI-VO): Für diese Systeme sind keine besonderen Anforderungen vorgeschrieben; sie werden durch Verhaltenskodizes geregelt.

Die KI-VO fordert von Anbietern und Betreibern insbesondere von Hochrisiko-KI-Systemen die Einrichtung eines umfassenden Risikomanagementsystems (Art. 9 KI-VO) sowie die Implementierung von Daten-Governance-Strukturen (Art. 10 KI-VO). Diese Systeme müssen strenge Anforderungen an die Dokumentation und Nachvollziehbarkeit erfüllen, einschließlich der Erstellung technischer Dokumentationen und regelmäßiger Überprüfungen (Art. 11 ff. KI-VO).

Im Zusammenhang mit dem räumlichen Anwendungsbereich der KI-VO (Art. 2 Abs. 1 KI-VO) der Europäischen Union sind in den Art. 23, 24 auch die Pflichten der sogenannten „Einführer“ (Art. 3 Nr. 6 KI-VO) und „Händler“ (Art. 3 Nr. 7 KIVO) geregelt.

EU-Konformitätsbewertungsverfahren

Das in der KI-VO erwähnte EU-Konformitätsbewertungsverfahren soll sicherstellen, dass Hochrisiko-KI-Systeme vor ihrer Markteinführung den Anforderungen der KI-Verordnung entsprechen. Anbieter solcher Systeme müssen eine EU-Konformitätserklärung (Art. 47 KI-VO) ausstellen, die bestätigt, dass das KI-System alle relevanten Vorschriften einhält. Diese Erklärung ist erforderlich, bevor ein System in Verkehr gebracht wird, und muss den zuständigen Marktüberwachungsbehörden auf Anfrage vorgelegt werden.

Für bestimmte Sektoren, wie die Strafverfolgung und das Finanzwesen, gelten zusätzliche Aufsichtsanforderungen durch spezialisierte Behörden (Art. 74 KI-VO).

Da die KI-Verordnung eine strenge Regulierung von KI-Systemen vorsieht, insbesondere wenn diese als Hochrisiko-KI-Systeme klassifiziert werden, können auch KI-basierte Systeme zur Angriffserkennung und -abwehr, die in kritischen Infrastrukturen eingesetzt werden, in diese Kategorie fallen, da sie maßgeblich zur Sicherheit und Stabilität solcher Systeme beitragen. Anbieter solcher KI-Systeme müssen sicherstellen, dass sie alle Anforderungen der KI-VO erfüllen, einschließlich der Implementierung von Data-Governance-Strukturen und der Erstellung technischer Dokumentationen. Die Einhaltung dieser Vorschriften ist schließlich entscheidend, um rechtliche Risiken zu minimieren und die Marktakzeptanz zu gewährleisten.

Produkthaftungsrichtlinie

Die Produkthaftungsrichtlinie 2024 (ProdHaftRL 2024)[7] der EU bringt wesentliche Neuerungen in der Produkthaftung, besonders im Kontext der Digitalisierung. Die Definition von „Produkten“ wurde erweitert[8], sodass nun auch immaterielle Güter wie Software und digitale Inhalte erfasst werden (Art. 4 ProdHaftRL 2024). Damit fallen auch KI-Systeme unter die Produkthaftung, was Unternehmen dazu verpflichtet, umfassende Verantwortung gegenüber Verbrauchern zu übernehmen.

Eine wesentliche Neuerung ist die Einführung einer erweiterten Haftungskaskade (Art. 9 ProdHaftRL 2024), die sicherstellt, dass auch Importeure und Fulfillment-Dienstleister haftbar gemacht werden können. Darüber hinaus wurde die Beweispflicht für Verbraucher erleichtert, indem eine widerlegbare Vermutung eingeführt wurde, dass ein Produkt fehlerhaft ist, wenn bestimmte Bedingungen erfüllt sind (Art. 11 ProdHaftRL 2024). Dies ist insbesondere bei komplexen technischen Produkten wie KI-Systemen relevant.

Die Produkthaftungsrichtlinie 2024 wurde am 12. März 2024 vom Europäischen Parlament verabschiedet und trat 20 Tage nach ihrer Veröffentlichung im Amtsblatt der EU in Kraft. Die Mitgliedstaaten haben nun 24 Monate Zeit, die Richtlinie in nationales Recht umzusetzen. Dies bedeutet, dass die neuen Regelungen voraussichtlich ab Mitte 2026 in den Mitgliedstaaten wirksam werden. Dennoch wird es noch eine längere Übergangsphase geben, da die bisherige  Produkthaftungsrichtlinie 85/374/EWG weiterhin für alle Produkte gilt, die bis zu ihrer Aufhebung in Verkehr gebracht oder in Dienst gestellt wurden.

Somit bleibt das bisherige Produkthaftungsrecht, einschließlich des nationalen Umsetzungsgesetzes in Deutschland (ProdHaftG), für diese Produkte bis mindestens 2036 gültig. Dies liegt daran, dass die Ausschlussfrist aus Art. 11 der ProdHaftRL 1985 erst dann greift, es sei denn, es wurde in der Zwischenzeit ein gerichtliches Verfahren eingeleitet.[9] Art. 15 ProdHaftRL 2024 sorgt dafür, dass Unternehmen umfassende Compliance-Maßnahmen ergreifen müssen, um sowohl Datenschutz- als auch Produktsicherheitsanforderungen zu erfüllen.

Produktsicherheitsverordnung (PSV) – (EU) 2023/988

Die Produktsicherheitsverordnung (EU) 2023/ 988[10] ist ab dem 13. Dezember 2024 in allen EU-Mitgliedsländern anzuwenden und zielt darauf ab, die Sicherheit von Produkten im europäischen Binnenmarkt zu gewährleisten und den Verbraucherschutz zu stärken. Die Verordnung legt die grundlegenden Sicherheitsanforderungen fest, die Produkte erfüllen müssen, bevor sie in der EU in Verkehr gebracht werden dürfen.

In diesem Zusammenhang sei das Konzept des System Lifecycle Management (SysLM) erwähnt welches, als ein sogenanntes Schlüsselkonzept für nachhaltige Produktentwicklung und mit Blick auf die Einhaltung der oben angegebenen Anforderungen eventuell hilfreich sein könnte.[11]

Besonders relevant ist die Verordnung für KI-Systeme, die in physische Produkte integriert sind, wie etwa autonome Fahrzeuge. Hersteller sind verpflichtet, sicherzustellen, dass ihre Produkte keine Gefahr für die Gesundheit und
Sicherheit der Nutzer darstellen, einschließlich Risiken, die durch KI-Funktionen wie maschinelles Lernen entstehen können (Art. 6 PSV). Offenlegungspflichten verpflichten die Hersteller von KI-Systemen sicherheitsrelevante Informationen und technische Dokumentationen den Marktüberwachungsbehörden zur Verfügung zu stellen. Dies betrifft insbesondere die Funktionsweise und die Risiken von KI-Systemen (Art. 44 PSV). Die Verordnung fordert von den Herstellern darüber hinaus, kontinuierlich die Sicherheit ihrer Produkte zu überwachen und bei Bedarf Anpassungen vorzunehmen, um neue Risiken zu adressieren (Art. 10 PSV).

Angriffserkennung und -abwehr für KRITIS und KRITIS-Zulieferer

Die Produktsicherheitsverordnung fordert strenge Sicherheitsanforderungen für alle Produkte, einschließlich solcher, die auf KI basieren und in kritischen Infrastrukturen (KRITIS[12]) eingesetzt werden. Während KRITIS-relevante Unternehmen verpflichtet sind, entsprechende Sicherheitsvorkehrungen zu treffen, werden im Rahmen der Umsetzungen der Network and Information Systems Directive (NIS-2-Richtlinie – EU 2022/2555)[13] gerade KRITIS-Zulieferer, also Unternehmen, die wesentliche Dienstleistungen und Produkte für kritische Infrastrukturen wie Energie, Transport oder im Gesundheitswesen bereitstellen, hier vor ganz neue Herausforderungen gestellt.

Angesichts der wachsenden Cyberbedrohungen ist es für diese Zulieferer von entscheidender Bedeutung, ihre IT-Systeme und Netzwerke kontinuierlich zu überwachen und zu schützen. Um die Anforderungen der Produktsicherheitsverordnung zu erfüllen, müssen KRITIS-Zulieferer künftig sicherstellen, dass ihre KI-basierten Systeme zur Angriffserkennung und -abwehr robust und zuverlässig sind. Dies erfordert regelmäßige Tests und Aktualisierungen der Systeme, um ihre Wirksamkeit gegen neue Bedrohungen zu gewährleisten. Zusätzlich müssen die eingesetzten Technologien den Transparenz- und Nachvollziehbarkeitsanforderungen der PSV entsprechen, um die Einhaltung der gesetzlichen Vorgaben zu gewährleisten.

Die Implementierung von KI-basierten Sicherheitssystemen erfordert hierbei erhebliche Investitionen in IT-Infrastruktur und Knowhow. Unternehmen müssen zusätzlich auch sicherstellen, dass ihre Systeme den gesetzlichen
Anforderungen entsprechen, einschließlich der Datenschutzgrundsätze der Datenschutzgrundverordnung (DSGVO), die bei der Verarbeitung personenbezogener Daten zur Bedrohungserkennung berücksichtigt werden müssen.

Vorschlag einer KI-Haftungsrichtlinie (KIHAFTRL-VOR) – 2022/0303 (COD)

Der Vorschlag einer KI-Haftungsrichtlinie der EU (KI-HaftRL-Vor)[14] soll die rechtlichen Unsicherheiten bei Schäden, die durch KI-Systeme verursacht werden, beseitigen und einen einheitlichen Haftungsrahmen schaffen. Sie sieht eine Kausalitätsvermutung vor, die es Geschädigten erleichtert, den Zusammenhang zwischen einem Verschulden des Anbieters und dem entstandenen Schaden nachzuweisen (Art. 4 KI-HaftRL-Vor). Diese Vermutung ist besonders relevant bei Hochrisiko-KI-Systemen, bei denen die Komplexität der Technologie den Nachweis von Fehlern erschwert.

Darüber hinaus erleichtert die KI-Haftungsrichtlinie den Zugang zu relevanten Beweismitteln, die sich im Besitz von Anbietern oder Nutzern von KI-Systemen befinden. Diese Offenlegungspflicht soll sicherstellen, dass Geschädigte die notwendigen Informationen erhalten, um ihre Ansprüche geltend zu machen. Im Vorschlag zur KI-Haftungsrichtlinie geht der europäische Gesetzgeber neue Wege, was seine Einflussnahme auf nationale Verfahrensordnungen betrifft. So lässt Art. 3 Abs. 1 Satz 1 KI-HaftRL-Vor vermuten, dass entsprechend dem deutschen § 142 Abs. 1 S. 1 der Zivilprozessordnung vorzugehen ist, also  der gerichtlichen Anordnung, dass eine Partei die in ihrem Besitz befindlichen Unterlagen, auf die sich die andere Partei bezogen hat, vorlegt.[15]

Dies bedeutet, dass Nationale Gerichte die Offenlegung anordnen können, sofern Tatsachen vorliegen, die die Plausibilität des Schadensersatzanspruchs ausreichend belegen (Art. 3 KIHaftRL-Vor). Bemerkenswert ist der Sachverhalt, dass der KI-HaftRL-Vor keine eigenständige Haftungsregel enthält.[16]

Urheberrechtliche Herausforderungen bei KI

Der Einsatz von KI wirft zahlreiche urheberrechtliche Fragen auf, besonders hinsichtlich der Schutzfähigkeit von KI-generierten Werken. Nach deutschem Urheberrecht (UrhG) ist der Schutz von Werken an die Bedingung geknüpft, dass es sich um eine „persönliche geistige Schöpfung“ handelt (§ 2 UrhG). Das bedeutet, die menschliche Leistung ist ein zentrales Merkmal der „persönlichen geistigen Schöpfung“.

Daraus folgt, dass Erzeugnisse von Tieren, Maschinen oder anderen nicht-menschlichen Entitäten grundsätzlich keinen urheberrechtlichen Schutz genießen können. Eine „persönliche geistige Schöpfung“ erfordert also einen kreativen Beitrag eines menschlichen Urhebers.[17] Da KI-Systeme keine natürlichen Personen sind, können sie somit keine urheberrechtlich geschützten Werke erzeugen.

Eine „persönliche geistige Schöpfung“ setzt voraus, dass ein menschlicher Urheber eine kreative Leistung erbracht hat, die über das bloße Anwenden von Algorithmen hinausgeht. Vorstellbar wäre, dass dies durch das Setzen kreativer Prompts oder die Auswahl der Trainingsdaten geschehen könnte. Allerdings ist nach herrschender Meinung der Einfluss des KI-Systems auf das Endprodukt oft so groß, dass die menschliche Beteiligung nicht als ausreichend schöpferisch angesehen wird, um Urheberrechtsschutz zu gewähren.

Verwendung von Trainingsdaten und Lizenzierung

Ein weiteres zentrales Thema im Urheberrecht ist die Verwendung von urheberrechtlich geschützten Werken als Trainingsdaten für KI-Systeme. Das deutsche Urheberrecht erlaubt unter bestimmten Bedingungen die Nutzung von Werken für wissenschaftliche Zwecke (Text- und Data-Mining-Schranke nach § 44b UrhG), allerdings ist die kommerzielle Nutzung oft nicht ohne Weiteres gedeckt. Unternehmen müssen sicherstellen, dass sie entweder die entsprechenden Lizenzen besitzen oder sich auf Schrankenregelungen des Urheberrechts berufen können.

Die Lizenzierung von KI-Modellen wirft ebenfalls spezifische rechtliche Fragen auf, insbesondere im Hinblick auf die Verwertung von KI-generierten Inhalten. Viele KI-Systeme basieren auf Open-Source-Software, die unter bestimmten Lizenzen wie der GNU General Public License (GPL) oder der Apache License steht. Diese Lizenzen erfordern, dass Änderungen und Verbesserungen an der Software ebenfalls unter denselben Bedingungen veröffentlicht werden. Das kann zu rechtlichen Problemen führen, wenn proprietäre KI-Modelle auf Open-Source-Basis entwickelt werden.

Die aktuelle herrschende juristische Meinung kommt, was die Urheberschaft des Outputs von KI-Systemen betrifft zu dem Schluss, dass eine Urheberschaft des KI-Herstellers verneint wird. Der Hersteller entwickelt zwar die KI-Software und stellt diese Dritten zur Verfügung, darüber hinaus hat er jedoch keinerlei wesentliche Einflussmöglichkeiten auf das Endprodukt, da es allein den Nutzern obliegt, wie sie das KI-Tool verwenden.[18]

Datenschutz und ethische Herausforderungen

Datenschutz ist ein weiteres zentrales Thema im Zusammenhang mit KI, vor allem im Hinblick auf die Verarbeitung personenbezogener Daten, sofern diese nicht vor der Nutzung anonymisiert wurden. Dann fallen diese Daten nicht mehr in den Anwendungsbereich der DSGVO. Die DSGVO der EU stellt strenge Anforderungen an die Verarbeitung personenbezogener Daten und fordert, dass diese nur auf Basis einer rechtlichen Grundlage (Art. 6 DSGVO) verarbeitet werden dürfen. Unternehmen, die KI-Systeme einsetzen, müssen sicherstellen, dass sie die Einwilligung der betroffenen Personen einholen und eine Datenschutzfolgenabschätzung (DSFA) durchführen, um potenzielle Risiken zu identifizieren und zu minimieren (Art. 6, 35 DSGVO).

Dieses Thema ist von zentraler Bedeutung bei der Entwicklung und der Nutzung von KI-Systemen. Eine sehr gute Hilfestellung bietet beispielsweise die Checkliste des Bayerischen Landesamts für Datenschutzaufsicht (BayLDA)[19] im Kontext von KI-Anwendungen. Ein weiterer wichtiger Aspekt des Datenschutzes im Zusammenhang mit KI ist die Sicherstellung der Betroffenenrechte gemäß den Artikeln 12 bis 22 DSGVO. Betroffene Personen haben das Recht auf Auskunft, Berichtigung, Löschung und Einschränkung der Verarbeitung ihrer Daten. Diese Rechte müssen auch im Kontext von KI-Anwendungen gewahrt bleiben.

Ethische Aspekte bei der Nutzung von KI-Systemen Ethische Herausforderungen beim Einsatz von KI umfassen zum Beispiel die Gefahr der Diskriminierung durch systematische Verzerrungen (Bias) in den Trainingsdaten. KI-Systeme, die auf solchen Daten basieren, können bestehende gesellschaftliche Vorurteile reproduzieren und bestimmte Gruppen benachteiligen. Ein prominentes Beispiel hierfür ist der Einsatz von KI in der Strafjustiz, wo Algorithmen wie COMPAS in den USA dafür kritisiert wurden, Afroamerikaner systematisch als rückfallgefährdeter einzustufen.[20]

Ein weiteres Problem ist die mangelnde Transparenz der KI-Systeme. In vielen Fällen sind die Algorithmen und ihre Funktionsweise nicht öffentlich zugänglich, was die Überprüfung und das Verständnis der Entscheidungsprozesse erschwert. Diese Intransparenz kann dazu führen, dass richterliche Entscheidungen auf Grundlage von Daten getroffen werden, die möglicherweise ungenau oder voreingenommen sind, ohne dass dies erkannt wird.[21]

Sicherheitskontext

Wird das Thema Datenschutz und Ethik im Sicherheitskontext betrachtet, werfen sich auch hier für die Verwendung von KI zur Angriffserkennung und -abwehr datenschutzrechtliche und ethische Fragen auf. Insbesondere müssen Unternehmen sicherstellen, dass die Verarbeitung personenbezogener Daten im Einklang mit der DSGVO erfolgt, was durchaus eine zusätzliche Komplexitätsebene im Rahmen erhöhter Sicherheitsanforderungen mit sich bringt. Darüber hinaus sind ethische Überlegungen notwendig, um den Einsatz von Überwachungstechnologien zu rechtfertigen und sicherzustellen, dass diese nicht zu unerwünschten Eingriffen in die Privatsphäre führen.

KI-basierte Angriffserkennung und -Verteidigung

In den letzten Jahren und auch absehbar für die künftigen Jahre durchdringen KI-Technologien und damit auch KI-basierte Systeme zur Angriffserkennung und -verteidigung die Systemlandschaften immer mehr. Diese Systeme sind in der Lage, Bedrohungen in Echtzeit zu erkennen und darauf aktiv zu reagieren, indem sie Muster und Anomalien in großen Datenmengen analysieren. Im Kontext von kritischen Infrastrukturen und KRITIS-Zulieferern sind solche Technologien besonders wichtig, da sie eine zusätzliche Sicherheitsstufe bieten und dazu beitragen können, gerade die so lebenswichtigen Infrastrukturen nachhaltig aufrechtzuerhalten.

KRITIS-Zulieferer, die mit kritischen Infrastrukturen arbeiten, stehen unter besonders hohem Druck, ihre Systeme gegen Cyberangriffe zu schützen. Die europäische NIS-2-Richtlinie fordert von diesen Unternehmen robuste Sicherheitsmaßnahmen. Hierbei bieten KI-basierte Systeme zur Angriffserkennung und -abwehr einen entscheidenden Vorteil, da sie Bedrohungen proaktiv erkennen und Abwehrmaßnahmen in Echtzeit einleiten können.

Die Integration von KI in Sicherheitsinfrastrukturen stellt Unternehmen jedoch auch vor Herausforderungen. Es müssen umfangreiche Datenmengen verarbeitet und analysiert werden, was hohe Anforderungen an die Rechenleistung und Dateninfrastruktur stellt. Zudem müssen die eingesetzten KI-Modelle regelmäßig aktualisiert und überprüft werden, um auf aktuelle Bedrohungsszenarien reagieren zu können. Hierbei können verschiedenste Rahmenwerke helfen. Allen voran das „Control Objectives for Information and Related Technology“-(COBIT)-Framework[22], aber auch Managementsysteme, wie die ISO 42001:2023 für KI oder ISO 27001:2022 für Informationssicherheitsmanagementsysteme.

Fazit

Der Einsatz von KI bringt erhebliche rechtliche und ethische Herausforderungen mit sich, die Unternehmen nicht unterschätzen dürfen. Die EU hat mit der KI-Verordnung, der Produkthaftungsrichtlinie und der Produktsicherheitsverordnung umfassende Regelungen geschaffen, die sicherstellen sollen, dass KI-Systeme sicher, transparent und im Einklang mit den geltenden Gesetzen betrieben werden. IT-Governance ist einer der Schlüssel, um KI-Risiken zu beherrschen, Compliance zu sichern und den Erfolg der KI-Strategien nachhaltig zu garantieren. Die Implementierung eines robusten IT-Governance-Managementsystems ist hierbei von entscheidender Bedeutung.

Das COBIT-Framework bietet beispielsweise genau die konzeptionellen Strukturen und Prozesse, die Unternehmen jetzt benötigen, um die bisherige IT-Governance auf das nächste Level zu heben. COBIT ist ein weltweit anerkanntes Framework, das Unternehmen unter anderem hilft, KI-Risiken zu identifizieren und zu managen sowie KI-Investitionen zu optimieren und sicherzustellen, sodass alle IT-Prozesse den geltenden rechtlichen und regulatorischen Anforderungen entsprechen. Es bietet zudem Reifegradmodelle und Messgrößen, um den Erfolg und die Effizienz der IT-Governance zu bewerten. Durch die Anwendung von Frameworks wie COBIT oder Managementsystemen können Unternehmen sicherstellen, dass ihre IT nicht nur als unterstützende Funktion, sondern als strategischer Treiber für den Geschäftserfolg fungiert.

Weiterhin wird die KI-gestützte Informationssicherheit, zum Beispiel im Bereich der Angriffserkennung und -abwehr zukünftig nicht mehr wegzudenken sein, insbesondere in den regulierten Bereichen (KRITIS, NIS2, DORA[23] etc.). Der Wettbewerb um die besten KI-Modelle hierfür ist in vollem Gange. Aber auch der Wettlauf zwischen Angreifer und Verteidiger. Der Spagat, den die Unternehmen nun zwischen dem technologisch Notwendigen und dem rechtlich Möglichen leisten müssen, erfordert den zusätzlichen Aufbau von neuem Wissen, internen Strukturen und Prozessen. Am wichtigsten für den wirtschaftlichen Erfolg und die Sicherheit des Unternehmens ist jedoch die Übernahme persönlicher Verantwortung.

Unternehmen sollten ihre „KI-Zukunft“ aktiv gestalten und die Herausforderungen der digitalen Transformation mit Entschlossenheit und strategischem Weitblick angehen. Die Zeit zum Handeln ist jetzt!

Dieser Text ist der vierte Teil einer Artikelserie über künstliche Intelligenz.

Der fünfte Teil in der nächsten Ausgabe der IT-SICHERHEIT wird sich damit befassen, wie Unternehmen KI-Projekte sicher umsetzen können. Folgende Themen sind Teil unserer KI-Serie:

  • Unternehmensführung in Zeiten von KI
  • Einführung in KI und Technologie
  • Prozess-Optimierung durch KI
  • Rechtliche Aspekte beim Einsatz von KI
  • KI-Projekte sicher umsetzen
  • KI im Feld der praktischen Anwendung

 

Teil 1: Chefsache künstliche Intelligenz

Teil 2: Einführung in KI und Technologie

Teil 3: Prozessoptimierung mit KI

 

Literatur

[1] EU, Ethikleitlinien für eine vertrauenswürdige KI, https://op.europa.eu/de/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1
[2] G7 Hiroshima Summit, Hiroshima Process International Code of Conduct for Organizations Developing Advanced AI Systems, https://www.mofa.go.jp/files/100573473.pdf
[3] Amtsblatt der Europäischen Union, VERORDNUNG (EU) 2024/1689 DES EUROPÄISCHEN PARLAMENTS UND DES RATES, https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=OJ:L_202401689
[4] OECD, OECD AI Principles overview, https://oecd.ai/en/aiprinciples 
[5] OECD, OECD Framework for the Classification of AI systems, https://www.oecd.org/en/publications/oecd-framework-for-the-classification-of-ai-systems_cb6d9eca-en.html
[6] GWR 2024, 173, beck-online
[7] Europäische Kommission, Vorschlag für eine RICHTLINIE DES EUROPÄISCHEN PARLAMENTS UND DES RATES über die Haftung für fehlerhafte Produkte, https://eur-lex.europa.eu/legalcontent/DE/TXT/HTML/?uri=CELEX:52022PC0495
[8] TaylorWessing, Neue Richtlinie zur Produkthaftung: Wo geht die Reise hin?, https://www.taylorwessing.com/de/insights-and-events/insights/2024/02/neue-richtlinie-zur-produkthaftung
[9] Benedikt Rohrßen, Die EU-Produkthaftungs-RL 2024: Der „final compromise text“, https://www.nomos.de/wp-content/uploads/2024/02/NL-Product-Compliance_Februar-24_Zeitschriften-Archiv_Rohrssen_GesamtPDF.pdf?
[10] Amtsblatt der Europäischen Union, VERORDNUNG (EU) 2023/988 DES EUROPÄISCHEN PARLAMENTS UND DES RATES vom 10. Mai 2023 über die allgemeine Produktsicherheit …, https://eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CELEX:32023R0988
[11] Systems Engineering Trends, Was ist System LifecycleManagement (SysLM)?, https://www.se-trends.de/was-ist-system-lifecycle-management-syslm/, aufgerufen am 11.8.2024
[12] Bundesamt für Sicherheit in der Informationstechnik, Was sind kritische Infrastrukturen, https://www.bsi.bund.de/DE/Themen/Regulierte-Wirtschaft/Kritische-Infrastrukturen/Allgemeine-Infos-zu-KRITIS/allgemeine-infos-zu-kritis_node.html
[13] Europäische Kommission, Richtlinie über Maßnahmen für ein hohes gemeinsames Cybersicherheitsniveau in der gesamten Union (NIS2-Richtlinie), https://digital-strategy.ec.europa.eu/de/policies/nis2-directive 
[14] Europäische Kommission, RICHTLINIE DES EUROPÄISCHEN PARLAMENTS UND DES RATES zur Anpassung der Vorschriften über außervertragliche zivilrechtliche Haftung an künstliche Intelligenz (Richtlinie über KI-Haftung), https://eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CELEX:52022PC0496
[15] Borges/Keil, Rechtshandbuch Big Data, § 7 Haftung für Daten und Analysen Rn. 164, beck-online
[16] Borges/Keil, Rechtshandbuch Big Data, § 7 Haftung für Daten und Analysen Rn. 34, beck-online
[17] Wandtke/Bullinger/Bullinger, 6. Aufl. 2022, UrhG § 2 Rn. 15 ff., beck-online
[18] Hoeren/Sieber/Holznagel MMR-HdB, Teil 29 Rn. 9, beck-online
[19] Bayerisches Landesamt für Datenaufsicht, Datenschutzkonforme Künstliche Intelligenz, Checkliste mit Prüfkriterien nach DS-GVO, https://www.lda.bayern.de/media/ki_checkliste.pdf
[20] Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, Machine Bias – There’s software used across the country to predict future criminals. And it’s biased against blacks, ProPublica, 2016, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
[21] Aleš Završnik, Criminal justice, artificial intelligence systems, and human rights, SpringerLink, https://link.springer.com/article/10.1007/s12027-020-00602-0, aufgerufen am 22.08.2024
[22] ISACA, COBIT – An ISACA Framework, https://www.isaca.org/resources/cobit
[23] EIOPA, Digital Operational Resilience Act (DORA), https://www.eiopa.europa.eu/digital-operational-resilience-act-dora_en

Porträt Andreas Schmidt

Andreas H. Schmidt (LL.M., CISA, CIPP/E) ist Wirtschaftsjurist und Geschäftsführer der Collegium Auditores GmbH. Schwerpunkte: IT-Audit im JAP, KRITIS, ext. DSB, Ausbildung von Prüfern gem. §8a BSIG

Porträt Alexander Jaber

Alexander Jaber ist Gründer und CEO der Compliant Business Solutions GmbH. Er ist mehr als 20 Jahre aktiv, Experte sowie Trainer für Informationssicherheit und Uni-Dozent für Managementsysteme zur Unternehmenssicherheit

Porträt Michael Theumert

Michael Theumert ist Co-Founder der SECaaS.IT und kombiniert Technik-Expertise mit menschlicher Dynamik. Er gestaltet eine sinnvolle, sichere und freudvolle Zukunft und fokussiert sich auf sichere und nachhaltige Digitalisierung.

Porträt Dr. Dieter Steiner

Der Unternehmer und Investor Dr. Dieter Steiner ist seit über 30 Jahren in der IT-Branche mit den Schwerpunkten IT-Security, Datenschutz, digitale Transformation, künstliche Intelligenz und Software-Entwicklung tätig.

Andere interessante Fachbeiträge

Symbol der E-Mail-Verschlüsselung

Effiziente E-Mail-Verschlüsselung weiterentwickelt mit GINA V2

Mit GINA V2 steht eine innovative Lösung für die sichere Spontanverschlüsselung bei der E-Mail-Kommunikation bereit, diese Verschlüsselungsform bietet höchsten Datenschutz und ermö...

Digitale Daten vor Strommasten

Zugriff verweigert

Kritische Infrastrukturen (KRITIS) sind nicht zuletzt aufgrund ihrer hohen gesellschaftlichen und politisch-strategischen Relevanz ein beliebtes Ziel für Cyberangriffe. Die zunehme...

Datenschutz-Symbol vor Industrieanlage

So schützt das KRITIS-Dachgesetz kritische Infrastrukturen

Am 6. November 2024 hat das Bundeskabinett das neue KRITIS-Dachgesetz beschlossen: ein zentrales Gesetz, das den Schutz kritischer Infrastrukturen (KRITIS) stärkt. Mit dieser Regel...