Der Agent entscheidet – das Unternehmen haftet
KI-Agenten reden nicht mehr nur – sie handeln. Sie greifen auf Systeme zu, stoßen Prozesse an und lösen reale Aktionen aus. Damit wird jeder Fehler zur Haftungsfrage. Unternehmen müssen deshalb belegen können, was ein Agent getan hat, warum er es tat und wer ihm die Befugnis dazu gab.
Agentische KI kann Ziele zerlegen, Anwendungen ansteuern und Prozesse eigenständig auslösen. Rechtlich bleibt der Agent jedoch kein eigenständiges Rechtssubjekt. Verantwortung tragen weiterhin Unternehmen und Personen, die Systeme entwickeln, bereitstellen, betreiben oder einsetzen.
Mathias Herrmann, CEO der ALLEHERZEN GmbH, bringt die neue Lage auf den Punkt: „Wenn ein KI-Agent nicht nur empfiehlt, sondern handelt, macht er aus einer Qualitätsfrage eine Governance- und Haftungsfrage.“
AI Act verteilt Pflichten nach Rollen
Der europäische AI Act folgt einem risikobasierten Ansatz. Für Hochrisiko-Systeme gelten umfangreiche Anforderungen, darunter Risikomanagement, technische Dokumentation und Protokollierung auf Anbieterseite. Betreiber müssen den bestimmungsgemäßen Einsatz, menschliche Aufsicht und die Überwachung des Systems sicherstellen.
Bei agentischen Systemen wird die Zuordnung schwieriger. Fehler können nicht nur im Modell entstehen, sondern auch durch Prompt Injection, manipulierte Daten, fehlerhafte Tool-Aufrufe oder zu weitreichende Berechtigungen. Herrmann zufolge liegt das Risiko deshalb „nicht nur im Modell, sondern im Gesamtsystem und seinen Handlungsmöglichkeiten“.
Auch die neue EU-Produkthaftungsrichtlinie bezieht Software und KI ausdrücklich ein. Für Produkte, die nach dem 8. Dezember 2026 in Verkehr gebracht oder in Betrieb genommen werden, erweitert sie den produkthaftungsrechtlichen Rahmen.
Ohne Logs wird Haftung schwer rekonstruierbar
Je autonomer ein Agent arbeitet, desto wichtiger wird die technische Nachvollziehbarkeit. Unternehmen müssen rekonstruieren können,
- welche Eingaben vorlagen,
- welche Systeme und Werkzeuge beteiligt waren,
- welche Berechtigungen bestanden und
- wann und wodurch eine Aktion ausgelöst wurde.
Für bestimmte Hochrisiko-Systeme verlangt der AI Act deshalb automatisch erzeugte Logs und angemessene Überwachung.
Hohe Strafen bei Regelverstößen
Für verbotene KI-Praktiken sieht der AI Act Geldbußen von bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes vor. Andere Pflichtverstöße können bis zu 15 Millionen Euro oder drei Prozent kosten, falsche oder irreführende Angaben bis zu 7,5 Millionen Euro oder ein Prozent. Für kleine und mittlere Unternehmen (KMU) gelten besondere Begrenzungen.
Kontrolle gehört an die Zugriffsebene
Technisch gewinnt deshalb eine kontrollierende Zugriffsschicht zwischen Agenten und Unternehmensressourcen an Bedeutung. Ein sogenannter Governed Access Layer kann Zugriffe kontextabhängig begrenzen, Aktionen protokollieren und Berechtigungen durchsetzen. Solche Mechanismen ersetzen weder rechtliche Prüfung noch menschliche Verantwortung. Sie schaffen jedoch eine Grundlage dafür, Handlungsspielräume technisch einzugrenzen.
Für Unternehmen lautet die Kernfrage damit nicht nur, wie intelligent ein KI-Agent ist, sondern was er tatsächlich tun darf. Je autonomer KI handelt, desto wichtiger werden klar definierte Rollen, begrenzte Berechtigungen und belastbare Nachweise.
Mathias Herrmann, CEO der ALLEHERZEN GmbH
Newsletter Abonnieren
Abonnieren Sie jetzt IT-SICHERHEIT News und erhalten Sie alle 14 Tage aktuelle News, Fachbeiträge, exklusive Einladungen zu kostenlosen Webinaren und hilfreiche Downloads.
