Selbstständig agierende KI: Strategien zur AI-Act-konformen Regulierung von KI-Agenten

Der zunehmende Einsatz agentischer KI-Systeme markiert einen Wendepunkt in der praktischen Anwendung künstlicher Intelligenz (KI). Laut einer Studie des Capgemini Research Institute testet bereits rund ein Viertel der Unternehmen KI-Agenten in Pilotprojekten, 14 Prozent setzen diese aktiv ein, und 93 Prozent der Führungskräfte erwarten, dass deren Skalierung innerhalb der nächsten zwölf Monate einen Wettbewerbsvorteil bringt.[1]

Im Gegensatz zu klassischen KI-Anwendungen oder dialogorientierten Assistenzsystemen können KI-Agenten eigenständig Ziele verfolgen, mehrstufige Entscheidungen treffen und Handlungen in operativen Systemen ausführen. Diese erweiterte Handlungsfähigkeit eröffnet erhebliche Effizienz- und Automatisierungspotenziale, bringt jedoch zugleich neuartige Risiken für Sicherheit und Grundrechte mit sich. Diese Risiken resultieren nicht allein aus der Leistungsfähigkeit der zugrunde liegenden Sprachmodelle, sondern aus Autonomiegraden, Delegations- und Koordinationslogiken, Tool- und Systemzugriffen sowie aus der Verarbeitung dynamischer Kontextinformationen zur Laufzeit.

Mit dem EU AI Act hat der europäische Gesetzgeber einen verbindlichen Rechtsrahmen geschaffen, der KI‑Systeme entlang ihres gesamten Lebenszyklus reguliert. Während das Gesetz Anforderungen an Hochrisiko‑KI‑Systeme und General‑Purpose‑AI‑Modelle (GPAI, KI-Modelle mit allgemeinem Verwendungszweck) formuliert, ist deren Anwendung auf agentische Architekturen mit spezifischen Auslegungs‑ und Umsetzungsfragen verbunden. Der vorliegende Beitrag analysiert die Anforderungen des EU AI Acts für agentische KI‑Systeme, skizziert konzeptionelle Ansätze und zeigt Maßnahmen auf, mit denen Anbieter bereits heute die Sicherheit und Verantwortbarkeit ihrer KI‑Systeme stärken können.

Eine Einschränkung vorab: Viele Fragen zur Anwendbarkeit des AI Act auf KI‑Agenten sind noch offen. Klären dürften sie sich erst durch spezielle Leitlinien, harmonisierte technische Normen oder eine etablierte Praxis – möglicherweise bestätigt durch Gerichte. Der Beitrag liefert daher konzeptionelle Ansätze und praktische Umsetzungsideen, keine abschließende rechtliche Bewertung und keine Gewähr für eine vollständig AI‑Act‑konforme Implementierung.

Was KI-Agenten von Chatbots unterscheidet

KI-Agenten treffen auf Basis definierter Ziele selbstständig Entscheidungen und führen Aktionen aus – etwa Datenbankabfragen, E-Mail-Versand, API-Aufrufe oder Buchungen. Innerhalb eines definierten Handlungsspielraums greifen sie auf Systeme zu, nutzen Datenquellen und Tools und interagieren mit anderen Systemen.

Von Assistant-Chatbots wie ChatGPT unterscheiden sie sich durch ihre Handlungsfähigkeit („Agency“). Typischerweise vereinen sie drei Komponenten:

• Planung und logisches Denken: Der Agent identifiziert die erforderlichen Schritte zur Zielerreichung und strukturiert sie.
• Speicher und Zustandsorientierung: Er speichert Informationen aus vorherigen Eingaben, Sitzungen oder externen Quellen und ruft sie bei Bedarf wieder ab.
• Aktionen und Werkzeugnutzung: Er setzt Werkzeuge ein, etwa über externe API-Aufrufe oder dedizierte Tool-Schnittstellen. Das Model Context Protocol (MCP) liefert hierfür eine standardisierte Schnittstelle, die einen Agenten (MCP-Client) mit einem Werkzeug (MCP-Server) verbindet.

Agentische KI-Anwendungen können aus mehreren Agenten bestehen – sogenannten Multi-Agenten-Systemen (MAS) –, die unterschiedliche Aufgaben übernehmen und gemeinsam ein komplexes Ziel verfolgen. MAS dienen entweder der Skalierung oder sie übernehmen spezialisierte Rollen und Funktionen innerhalb einer agentischen Lösung. Die Architektur ähnelt sich in beiden Fällen; im zweiten Fall kommt jedoch eine Kommunikation zwischen den Agenten hinzu, optional ergänzt um einen oder mehrere koordinierende Agenten.

Warum KI-Agenten regulieren?

Mit der Handlungsfähigkeit wachsen die Risiken. KI-Agenten gehen über reine Dialoginteraktionen hinaus: Sie treffen autonom Entscheidungen, führen Aktionen aus und orchestrieren komplexe Arbeitsabläufe end-to-end. Diese erweiterte Handlungsfähigkeit öffnet neue Angriffsvektoren und macht eine differenzierte Steuerung, Überwachung und Absicherung erforderlich. Wie real diese Risiken sind, zeigen zwei Vorfälle aus jüngster Zeit.

Im Februar 2026 verlor die Meta-Managerin Summer Yue, Director of AI Alignment, die Kontrolle über den autonomen KI-Agenten Open-Claw. Trotz expliziter Anweisungen begann der Agent eigenständig, ihr gesamtes E-Mail-Postfach zu löschen, und ignorierte Stopp-Befehle.

Erst ein manueller Eingriff am Rechner stoppte ihn.[8] Einen anderen Fehlertyp dokumentierte ein Vorfall im November 2025: In einem Unternehmen lief ein autonomes Multi-Agenten-System elf Tage unbemerkt in einer rekursiven Endlosschleife. Zwei Agenten generierten sich gegenseitig Aufgaben und feuerten kontinuierlich API-Aufrufe ab. Der Vorfall verursachte rund 47.000 US-Dollar Rechenkosten und blieb zunächst unentdeckt, weil die Agenten scheinbar normal arbeiteten.[9]

Die OWASP-Top-10-Liste der Sicherheitsrisiken für agentische Anwendungen[11] systematisiert solche Gefahren. Dazu zählen die Zielmanipulation des Agenten, der Missbrauch angebundener Tools – etwa über Protokolle wie MCP oder A2A –, die Privilegienausnutzung durch geerbte Benutzerrechte wie Cloud- oder Datenbankzugriffe sowie manipulierte Speicher- oder Kommunikationsprozesse zwischen Agenten. Die Angriffsfläche verschiebt sich damit von reiner Informationsverarbeitung hin zu autonomem Handeln in operativen Systemen.

Regulierung von KI-Agenten gemäß EU AI Act

Wer die beschriebenen Angriffsvektoren wirksam steuern will, braucht Governance entlang der gesamten KI-Wertschöpfungskette – von der Use-Case-Konzeption über die Entwicklung bis zu Betrieb und kontinuierlicher Überwachung. Der AI Act[2] liefert hierfür den regulatorischen Rahmen und formuliert Anforderungen sowohl an GPAI-Modelle (Art. 51, Kapitel V) als auch an KI-Systeme (Kapitel III).

Bei den KI-Systemen unterscheidet der AI Act zwischen Anbietern und Betreibern. Anbieter entwickeln ein KI-System – oder lassen es entwickeln – und bringen es unter eigenem Namen oder eigener Marke in Verkehr beziehungsweise nehmen es in Betrieb. Anbieter können natürliche oder juristische Personen, Behörden oder Einrichtungen sein. Betreiber dagegen setzen ein KI-System in eigener Verantwortung für einen bestimmten Zweck ein.

Die Rollen sind nicht starr: Ein Betreiber wird selbst zum Anbieter, sobald er ein bereitgestelltes KI-System wesentlich modifiziert oder dessen Zweckbestimmung verändert, etwa indem er es in eigene Anwendungen oder Geschäftsprozesse einbettet und damit den Einsatzkontext mitbestimmt, es per Fine-Tuning anpasst oder eigenständig unter eigenem Namen in Betrieb nimmt.

Die meisten regulatorischen Anforderungen des AI Act richten sich an Hochrisiko-KI-Systeme. Trotzdem lohnt sich für alle KI-Systeme eine frühzeitige Auseinandersetzung damit: Durch Anpassungen des AI Act oder Änderungen am Einsatzkontext kann sich die eigene Rolle oder die Risikoklassifizierung eines Systems jederzeit verschieben. Zudem lassen sich aus den Anforderungen Leitplanken (Guardrails) für alle KI-Systeme ableiten und in eine übergreifende Governance-Strategie für sichere und vertrauenswürdige KI integrieren.

Der Beitrag konzentriert sich dabei auf drei Konstellationen:

Erstens auf die Pflichten von Anbietern im Sinne des AI Act – nicht auf die der Betreiber, deren Pflichtenkatalog anders ausfällt.

Zweitens auf KI-Agenten und Multi-Agenten-Systeme, die als KI-Systeme nach Art. 3 (1) AI Act gelten: Komponenten wie eingebundene Tools, externe Speicher oder Website-APIs machen aus einem KI-Modell ein KI-System (Erwägungsgrund 97) – und solche Komponenten gehören für Agenten zwingend dazu.

Drittens auf Agenten, die als Hochrisiko-KI-Systeme einzuordnen sind, also als Sicherheitskomponente dienen oder einen in Anhang III aufgeführten Anwendungsfall abdecken, ohne dass die Ausnahme nach Art. 6 Abs. 3 greift. Ob dieser Katalog die spezifischen Risiken agentischer Systeme vollständig erfasst, ist offen – Erweiterungen sind absehbar.

Was Anbieter von Hochrisiko-Agenten leisten müssen

Im Folgenden werden die Anforderungen an Anbieter von Hochrisiko-KI-Systemen gemäß AI Act Art. 9 bis 15 betrachtet, praxisnahe Hinweise zu deren Umsetzung gegeben sowie spezifische Aspekte hervorgehoben, die bei agentischen Systemen besonders zu berücksichtigen sind. Künftig werden Leitlinien und harmonisierte Normen, an denen die europäischen Normungsorganisationen derzeit arbeiten, eine zentrale Rolle bei der Umsetzung spielen. Solange diese fehlen, orientiert sich der Beitrag an den folgenden geltenden technischen und organisatorischen Anforderungen:

1. Einrichtung eines Risikomanagementsystems (Art. 9)
2. Gewährleistung von Datenqualität und Daten-Governance (Art. 10)
3. Erstellung einer technischen Dokumentation (Art. 11)
4. Aufzeichnungspflichten und Protokollierung (Art. 12)
5. Transparenzanforderungen und Erstellung von Betriebsanleitungen (Art. 13)
6. Menschliche Aufsicht (Art. 14)
7. Einhaltung eines angemessenen Maßes an Robustheit, Genauigkeit und Cybersicherheit (Art. 15).

Weitere Pflichten nach Art. 16 AI Act – etwa Konformitätsbewertung (Art. 43), CE-Kennzeichnung (Art. 48), Registrierung in der EU-Datenbank (Art. 49), Post-Market-Monitoring (Art. 72) sowie Serious-Incident-Reporting (Art. 73) und Korrektur- und Compliance-Monitoring – bleiben hier außen vor.

1. Risikomanagementsystem einrichten (Art. 9)

Anbieter von Hochrisiko-KI-Systemen müssen ein kontinuierliches Risikomanagementsystem über den gesamten Lebenszyklus des Systems einrichten und betreiben. Es umfasst die systematische Identifikation, Analyse, Bewertung und Minderung potenzieller Risiken für Sicherheit und Grundrechte sowohl in der Entwicklungsphase als auch während des Betriebs.

Risiken identifizieren und analysieren.

Viele Risiken und potenzielle Schäden durch KI-Agenten sind stark kontextabhängig und werden durch ihre Einsatzumgebung sowie die gewährten Handlungsmöglichkeiten geprägt.

Anbieter von Hochrisiko-KI-Systemen sollten zunächst die von Modellanbietern bereitgestellten übergeordneten Risikobewertungen als Grundlage für eine kontextualisierte Risikoidentifikation und -analyse nutzen, die auf die jeweilige Einsatzumgebung zugeschnitten ist. Die Risikobestimmung für Agenten muss daher insbesondere die gewährten Berechtigungen, etwa Administratorrechte oder API-Zugriffe, und Tool-Zugriffe, potenzielle Interaktionspunkte mit kritischen Systemen und Systemüberschneidungen sowie mögliche Kaskadeneffekte und Rückkopplungsschleifen berücksichtigen. Für die Risikoidentifikation agentischer Systeme eignen sich unter anderem folgende Kriterien[3]:

• Verwendungszweck und Einsatzkontext: Analyse des vorgesehenen Anwendungsfalls, der Einsatzdomäne und der betroffenen Stakeholder einschließlich vorhersehbarer Fehl- oder Zweckentfremdungen.
• Rolle des Agenten/der Agenten im System: Bewertung der konkreten Aufgaben, Entscheidungsbefugnisse und Verantwortlichkeiten des Agenten innerhalb des Gesamtsystems sowie der Kritikalität der von ihm gesteuerten Prozesse.
• Autonomiegrad: Untersuchung des Umfangs autonomer Zieldefinition, Planung und mehrstufiger Handlungsausführung sowie der Grenzen menschlicher Eingriffe und Kontrollmöglichkeiten.
• Autorität und Berechtigungen: Analyse der dem Agenten eingeräumten System-, Daten- und Tool-Zugriffe und des daraus resultierenden Schadenspotenzials.
• Vorhersagbarkeit des Verhaltens: Bewertung der Stabilität, Reproduzierbarkeit und möglichen Variabilität agentischer Entscheidungen, insbesondere bei nicht deterministischen oder adaptiven Systemen.
• Betriebsumgebung: Berücksichtigung der Dynamik, Unsicherheit und Komplexität des Einsatzkontexts sowie der Abhängigkeit von externen Daten oder Akteuren.
• Multi-Agenten-Interaktionen: Analyse von Koordinations-, Delegations- und Interaktionsmechanismen in agentischen oder Multi-Agenten-Systemen und der daraus entstehenden systemischen Risiken.
• Risiken bewerten: Dafür entwickeln sie systemspezifische Testszenarien, die die jeweilige API-, Tool- und Systemintegration sowie betriebliche Randbedingungen berücksichtigen.

Bei KI-Agenten ist das wegen ihrer hohen Komplexität und kontextabhängigen Verhaltensweisen besonders anspruchsvoll. Derzeit lassen sich zwei komplementäre Hauptansätze zur Bewertung agentischer KI-Systeme unterscheiden:

a) Der erste Ansatz fokussiert sich auf die Fähigkeits- und Robustheitsbewertung mittels standardisierter, automatisierter Benchmarks wie AgentBench[4], AgentHarm[5] oder MLEBench[6]. Diese eignen sich besonders zur Identifikation systematischer Fähigkeits- und Robustheitsdefizite und können zur Priorisierung kritischer Einsatzszenarien sowie als vorgelagerter Schritt für strukturierte Red-Teaming-Aktivitäten dienen.

b) Der zweite Ansatz umfasst szenariospezifische Prüfungen in realitätsnahen Einsatzkontexten, einschließlich domänenspezifischem Red Teaming unter Nutzung der agentischen Systemarchitektur. Dazu zählen Tests der Reaktion auf schädliche Eingaben, zum Beispiel Prompt Injection, Fehlverhalten in mehrstufigen Handlungsketten, Missbrauch von Tools oder Delegationslogiken sowie die Widerstandsfähigkeit gegenüber Jailbreak-Versuchen.

2. Datenqualität und Daten-Governance (Art. 10)

Anbieter von Hochrisiko-KI-Systemen müssen sicherstellen, dass die für Training, Validierung und Tests eingesetzten Datensätze im Hinblick auf den vorgesehenen Verwendungszweck relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sind. Zudem sind geeignete Daten-Governance-Praktiken zu etablieren.

Für agentische Systeme ergibt sich daraus die Notwendigkeit, bereits auf Systemebene Daten-Governance-Mechanismen für dynamisch und zur Laufzeit verarbeitete Eingaben und Kontextdaten (zum Beispiel über APIs, Dokumente oder Datenbanken) vorzusehen. Das ist erforderlich, da Laufzeitdaten bei agentischen Systemen entscheidungsrelevant sind und somit Auswirkungen auf das Risikomanagement (Art. 9) sowie auf die Robustheitsanforderungen (Art. 15) haben können. Folglich sollten Mechanismen zur Sicherstellung von Relevanz, Qualität und Integrität dieser Daten implementiert werden. Das umfasst Maßnahmen zur Prüfung dynamisch eingebundener Datenquellen auf Bias, Vollständigkeit, Diskriminierungsfreiheit und weitere Qualitätsrisiken.

Hinzu kommen Schutzmechanismen für Memory-Komponenten und Kontextspeicher. Sie verhindern fehlerhafte oder schädliche Datenpersistenz – etwa Bias oder Context Poisoning über mehrere Handlungsschritte hinweg – und stellen sicher, dass agentische Entscheidungen nicht auf unvollständigen, manipulierten oder zweckfremden Daten beruhen.

3. Erstellung einer technischen Dokumentation (Art. 11)

Die technischen Dokumentationspflichten nach Art. 11 des AI Act verlangen eine umfassende Beschreibung des KI-Systems, seines Entwicklungsprozesses, der verwendeten Daten (Art. 10), der implementierten Risikominderungsmaßnahmen (Art. 9) sowie der Validierungs- und Überwachungsmechanismen (Art. 15). Die technische Dokumentation eines agentischen Systems sollte insbesondere die folgenden Aspekte abdecken:

• Zweckbestimmung und Einsatzkontext: Beschreibung des vorgesehenen Verwendungszwecks, der Zielgruppe und des Anwendungsbereichs sowie der Betriebsumgebung, Systemgrenzen und Annahmen zum vorhersehbaren Einsatz.
• Systemarchitektur: Darstellung der Gesamtarchitektur, Rollen und Funktionen einzelner Agenten, Orchestrierungs-, Koordinations- oder Delegationsmechanismen, Interaktionslogik (zum Beispiel sequenziell oder parallel) sowie der Einbindung externer Tools, APIs und Datenquellen.
• Modell und Entscheidungslogik: Beschreibung der eingesetzten Modelle sowie der Planungs-, Entscheidungs-, Zielverfolgungs- und Aufgabenverteilungsmechanismen, einschließlich des Umgangs mit Unsicherheiten und nicht-deterministischem Verhalten.
• Daten und Daten-Governance: Herkunft und Eigenschaften der Trainings-, Validierungs- und Testdaten, Verfahren zur Datenaufbereitung und Qualitätssicherung, Maßnahmen zur Bias-Erkennung und -Minderung sowie Beschreibung der zur Laufzeit verarbeiteten Eingabe-, Kontext- oder Retrieval-Daten einschließlich der Validierung
  externer Inhalte.
• Risikomanagement: identifizierte Risiken für Sicherheit und Grundrechte, Risikoanalyse mit Fokus auf Agenteninteraktionen und Einsatzannahmen sowie implementierte technische und organisatorische Risikominderungsmaßnahmen.
• Validierung und Testverfahren: Methoden zur Leistungsbewertung, szenariobasierte Prüfungen, Robustheits- und Sicherheitstests sowie durchgeführte Red-Teaming- Aktivitäten.
• Monitoring und Kontrollmechanismen: Protokollierung agentischer Entscheidungen und Aktionen, Laufzeitüberwachung von Systeminteraktionen, Human-Oversight-Mechanismen sowie Eingriffs- und Notfallabschaltfunktionen.
• Post-Market-Monitoring: Verfahren zur Leistungs- und Risikoüberwachung im Betrieb, Vorfallmanagement sowie kontinuierliche Neubewertung und Aktualisierung des Systems.
• Änderungs- und Update-Management: Dokumentation von Modell-, Agenten- oder Architekturänderungen, Revalidierung bei wesentlichen Änderungen und Bewertung der Auswirkungen auf Sicherheit und Leistung.

4. Aufzeichnungspflichten und Protokollierung (Art. 12)

Artikel 12 verlangt automatische Logging- und Monitoring-Funktionen, die relevante Ereignisse während des Betriebs erfassen. Hierzu sind anhand der spezifischen betrieblichen Anforderungen und der durchgeführten Risikobewertungen (Art. 9) geeignete Schwellenwerte festzulegen. Die Überwachungsmechanismen sollten in die bestehende Sicherheitsinfrastruktur integriert und mit klar definierten Reaktions‑ und Eskalationsprotokollen verknüpft werden, um bei Überschreitung von Schwellenwerten zeitnah reagieren zu können.

Automatisierte Warnmeldungen bei der Erkennung abnormaler oder nicht autorisierter Aktionen ermöglichen dabei eine kontinuierliche Transparenz über agentische Aktivitäten. Agentenorientierte Überwachungssysteme, die an die jeweilige Infrastruktur und den konkreten Anwendungsfall angepasst sind, sollten mehrere risikorelevante Schlüsselvariablen überwachen, darunter:

a) die Anzahl der gleichzeitig aktiven oder interagierenden Agenten,
b) der Umfang der genutzten Rechen‑ und Systemressourcen,
c) die Dauer autonomer Aktivitäten ohne menschliches Eingreifen,
d) vom Agenten initiierte wirtschaftliche oder rechtlich relevante Transaktionen,
e) potenziell kritische Interaktionen mit anderen Agenten, Personen oder Organisationen sowie
f) der Zugriff auf oder die Verarbeitung sensibler Informationen (zum Beispiel Zugangsdaten oder biometrische Daten).

Die Risikoschwellen für diese Variablen sind nicht fixiert. Sie können flexibel und kontinuierlich angepasst werden. Dies stellt sicher, dass das Überwachungssystem auf sich ändernde Bedingungen reagiert und Anomalien oder potenzielle Risiken genauer erkennt, während sich das System weiterentwickelt. Sobald die festgelegten Schwellenwerte erreicht sind, können Entwickler eingreifen, eine Überprüfung durchführen und gegebenenfalls die Aufsichtsbehörden benachrichtigen, um eine frühzeitige Erkennung und Intervention bei der Materialisierung von Risiken zu ermöglichen.

Durch die Aufbewahrung detaillierter Aktivitätsaufzeichnungen können Anbieter oder Entwickler nach Vorfällen Analysen durchführen, schädliche Ergebnisse bis zu ihren Ursachen zurückverfolgen und KI-Agenten verbessern, um zukünftige Schäden zu verhindern. Diese Protokolle sind auch entscheidend für die Verteilung der Haftung zwischen Akteuren entlang der Wertschöpfungskette, wenn Vorfälle Schäden Modelverursachen.

Darüber hinaus könnte die Überwachung auch Informationen mehrerer Agenten einbeziehen, um Risiken zu erfassen. Diese Ansätze befinden sich jedoch noch in einem frühen Stadium und müssen weiter validiert werden.

5. Transparenz und Bereitstellung von Informationen (Art. 13)

Hochrisiko-KI-Systeme brauchen eine klare und verständliche Betriebsanleitung. Sie soll Betreibern ermöglichen, das System bestimmungsgemäß und regelkonform einzusetzen – mit Informationen zur Funktionsweise, zu Leistungsgrenzen, zu erforderlicher menschlicher Aufsicht und zu Risiken vorhersehbarer Fehlanwendungen.

Für agentische KI‑Systeme kann es darüber hinaus sinnvoll sein, strukturierte Agentenkarten (Agent Cards) zu erstellen, die einsatzspezifische Informationen systematisch dokumentieren und den Betreibern zur Verfügung stellen. Diese können betriebliche Grenzen, zulässige Tool‑ und Systeminteraktionen sowie verantwortliche Rollen entlang des Systemlebenszyklus abbilden.

Agentenkarten stellen eine Weiterentwicklung des etablierten Model‑Card‑Konzepts[7] dar und dienen als standardisiertes Dokumentationsinstrument zur Operationalisierung agentenspezifischer Transparenzanforderungen. Analog zu Model Cards fördern sie Transparenz und eine verantwortungsvolle Nutzung, indem sie zentrale Informationen zu Zweck, Leistungsfähigkeit, Einschränkungen und risikorelevanten Nutzungskontexten bündeln.

Agentenkarten können folgende agentenspezifische Informationen enthalten:

• Rolle und Aufgabenbereich des Agenten (zum Beispiel Planung, Analyse, Aktion),
• Autonomie‑ und Delegationsgrad (zum Beispiel mehrstufige Ausführung, Einsatz von Sub‑Agenten),
• Tool‑ und Systemzugriffe (zum Beispiel APIs, Schreib‑ oder Transaktionsrechte),
• Verarbeitung von Laufzeit‑ und Kontextdaten (zum Beispiel Memory- oder Retrieval‑Mechanismen),
• Mechanismen der menschlichen Aufsicht (zum Beispiel Freigaben, Stop‑Funktionen), bekannte Risiken und Limitierungen (zum Beispiel Prompt‑Injection‑Anfälligkeit) sowie
• protokollierungsrelevante Aktionen zur Unterstützung von Nachvollziehbarkeit und
  Audit‑Trails.

6. Menschliche Aufsicht (Art. 14)

Hochrisiko‑KI‑Systeme müssen so gestaltet sein, dass während des Betriebs eine wirksame menschliche Aufsicht gewährleistet ist. Betreiber müssen das Systemverhalten überwachen, verstehen und bei Bedarf eingreifen oder den Betrieb unterbrechen können, um Risiken für Sicherheit und Grundrechte zu minimieren.

Ein zentrales Gestaltungsprinzip ist hierbei Human‑in‑the‑Loop (HITL), ein etabliertes Konzept aus sicherheitskritischen Domänen wie dem autonomen Fahren. Die Umsetzung von HITL umfasst die Definition klarer Kontrollpunkte im Workflow des oder der Agenten, an denen eine menschliche Freigabe erforderlich ist. Solche Checkpoints können automatisiert und deterministisch ausgelöst werden, etwa durch festgelegte Schwellenwerte, wie der Dauer autonomer Aktivitäten oder der Anzahl von API‑Aufrufen, oder durch qualitative Risikosignale wie den Zugriff auf kritische APIs oder das Anfordern unzulässiger Berechtigungen.

Diese Kontrollpunkte wirken als gezielte Punkte, die weitere Aktionen pausieren, bis eine menschliche Prüfung erfolgt, vergleichbar mit automatischen Sperrmechanismen bei verdächtigen Transaktionen im Finanzsektor. Ergänzend ist ein risikoadäquates Berechtigungsmanagement für agentische KI‑Systeme erforderlich.

Es sollte drei Elemente umfassen:

• a) die explizite Deklaration notwendiger Berechtigungen in der Agentenkonfiguration,
• b) dynamische Berechtigungsanfragen zur Laufzeit für sensible Operationen sowie
• c) eine fein granulierte Steuerung des Zugriffs auf externe APIs und interne Systemressourcen. Unterstützend lassen sich agentenspezifische Identitäts‑ und Delegationsmechanismen einsetzen, um zulässige Aktionen, Betriebsgrenzen und Verantwortlichkeiten eindeutig festzulegen und autonome Handlungsspielräume kontrolliert zu begrenzen.[10]

Echtzeit-Aktionsverweigerungen bilden eine weitere zentrale Kontrollmaßnahme. Sie bauen auf bekannten Filteransätzen aus GPAI-Modellen auf, sollten aber bei Agenten nicht nur einzelne Ausgaben prüfen, sondern das kumulative Verhalten über mehrere Handlungsschritte hinweg. Ein Beispiel: Führt der Agent schrittweise Informationen aus verschiedenen Quellen zusammen, um implizit Rückschlüsse auf die Identität einer Person zu ziehen, gilt das als problematisch – eine Echtzeit-Aktionsverweigerung greift und unterbindet weitere Analyse- oder Korrelationsschritte, obwohl keine einzelne Aktion für sich genommen regelwidrig war.

Als Ultima Ratio sind automatisierte Notfall‑Abschaltungen vorzusehen. Erkennen Monitoring‑Systeme potenziell gefährliche Verhaltensmuster, etwa ungewöhnliche API‑Nutzung, exzessiven Ressourcenverbrauch oder verdächtige Interaktionen, muss der Betrieb des Agenten kontrolliert pausieren oder enden.

Der Abschaltprozess sollte eine schnelle, sichere Beendigung gewährleisten, externe Zugriffe unverzüglich sperren und den Systemzustand für eine nachträgliche Analyse sichern. Zusätzlich sind manuelle Abschaltmöglichkeiten bereitzustellen, die autorisiertem Personal ein unmittelbares Eingreifen auch unabhängig von automatisierten Kontrollen erlauben. Abschließend sollten strukturierte Untersuchungs‑ und Freigabeprozesse sicherstellen, dass identifizierte Ursachen behoben werden, bevor das System wieder in Betrieb genommen wird.

7. Robustheit, Genauigkeit und Cybersicherheit (Art. 15)

Bei agentischen KI‑Systemen reicht eine rein modellbezogene Gewährleistung von Robustheit, Sicherheit und Zuverlässigkeit häufig nicht aus, da sich Risiken nicht allein aus der Leistungsfähigkeit des zugrunde liegenden Modells ergeben. Während die Bewertung von GPAI‑Modellen mittlerweile durch standardisierte Benchmarks etabliert ist, steht die Evaluation agentischer Systeme noch am Anfang.

Agenten agieren als orchestrierte Gesamtsysteme, in denen Modellinferenz, Tool‑Nutzung, Speicher-, Entscheidungs‑ und Planungslogik sowie Interaktionen miteinander verknüpft sind. Gerade diese Kopplung kann zu Fehlverhalten, Eskalationen oder sicherheitsrelevanten Kaskadeneffekten führen und erzeugt zusätzliche Anforderungen an die Robustheit.

Entsprechend sollten Evaluationsmetriken nicht nur die erfolgreiche Aufgabenerfüllung abdecken, sondern auch systemische Eigenschaften berücksichtigen, etwa Erfolgs‑ und Fehlerraten, Bearbeitungszeiten, Robustheit gegenüber Rand‑ und Fehlerszenarien, Stabilität bei Tool‑Interaktionen sowie das Verhalten unter atypischen oder adversen Bedingungen. Solche Kennzahlen liefern zentrale Evidenz dafür, ob das System die Anforderungen aus Artikel 15 erfüllt – besonders bei Fehlertoleranz und sicherer Funktionsweise.

Eine wirksame, anbieterorientierte Evaluation läuft idealerweise stufenweise ab: Sie beginnt mit der technischen Prüfung grundlegender Fähigkeiten wie Planung, logischem Schlussfolgern und Tool-Nutzung, gefolgt von Tests in isolierten technischen Sandbox-Umgebungen, die reale Einsatzbedingungen simulieren. Erst nach erfolgreicher Validierung folgt die kontrollierte Integration in produktive Arbeitsabläufe, begleitet von Überwachungs- und Schutzmechanismen.

Eine vollständige operative Nutzung sollte erst beginnen, wenn Robustheit und Zuverlässigkeit des agentischen Systems nachgewiesen sind und wirksame Fallback- sowie Human-Oversight-Mechanismen Fehlfunktionen oder sicherheitsrelevantes Verhalten begrenzen.

Ausblick: Compliancearchitektur in den Kunderschuhen

Evaluation und Compliance-Architektur agentischer KI-Systeme stehen noch am Beginn ihrer Entwicklung. Damit ist absehbar, dass der EU AI Act durch weitere Präzisierungen und ergänzende Leitlinien wachsen wird. Wichtig dabei: Die Verpflichtungen der Anbieter bestehen nicht darin, potenzielle Risiken bereits vor dem Inverkehrbringen vollständig gelöst zu haben, sondern sie angemessen zu adressieren. Wer Risikomanagement, Protokollierung und menschliche Aufsicht früh verankert, ist auf der sicheren Seite.

Literatur

[1] Capgemini Research Institute: Rise of agentic AI. https://www.capgemini.com/de-de/wp-content/uploads/sites/8/2025/07/20250717_Presseinfo_Studie_Agentic-AI.pdf
[2] Der AI Act Explorer. https://artificialintelligenceact.eu/de/
[3] World Economic Forum: AI Agents in Action: Foundations for Evaluation and Governance. https://www.weforum.org/publications/ai-agents-in-action-foundations-for-evaluationand-governance/
[4] AgentBench: Evaluating LLMs as Agents. https://arxiv.org/abs/2308.03688
[5] AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents. https://huggingface.co/papers/2410.09024
[6] MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering. https://arxiv.org/abs/2410.07095
[7] Hugging Face: What are Model Cards? https://huggingface.co/docs/hub/model-cards
[8] Yahoo Finance: OpenClaw: Meta-Managerin verliert plötzlich die Kontrolle und erlebt einen KI-Albtraum. https://de.finance.yahoo.com/nachrichten/openclaw-meta-managerin-verliertpl%C3%B6tzlich-115019345.html
[9] TechStartups: AI Agents Horror Stories: How a $47,000 AI Agent Failure Exposed the Hype and Hidden Risks of Multi-Agent Systems. https://techstartups.com/2025/11/14/ai-agents-horrorstories-how-a-47000-failure-exposed-the-hype-and-hiddenrisks-of-multi-agent-systems/
[10] The Future Society: Ahead of the Curve. Governing AI Agents Under the EU AI Act. https://thefuturesociety.org/wp-content/uploads/2023/04/Report-Ahead-of-the-Curve-Governing-AIAgents-Under-the-EU-AI-Act-4-June-2025.pdf
[11] OWASP: OWASP Top 10 for Agentic Applications for 2026. https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/