KI-Agenten: Wer handeln darf, braucht technische Grenzen

Ein KI-Agent soll einen Kundenfall bearbeiten. Dafür benötigt er Informationen aus mehreren Systemen, muss möglicherweise Daten ändern oder eine Zahlung anstoßen. Mit jedem zusätzlichen Zugriff wächst die Verantwortung: Ein fehlerhafter Schritt kann Folgen weit über die ursprüngliche Aufgabe hinaus haben. Bei agentischer KI zählt deshalb neben der Qualität der Antworten auch die Frage, welche Handlungen ein System ausführen darf.

Mathias Herrmann, Geschäftsführer der ALLEHERZEN GmbH, bringt das Problem auf den Punkt: „Ein System, das eigenständig Aufgaben verfolgt, lässt sich nicht zuverlässig steuern, wenn Kontrolle erst nach dem Fehler einsetzt.“

Regeln müssen vor der Ausführung greifen

KI-Agenten können Aufgaben in Teilschritte zerlegen, Werkzeuge einsetzen und mit Unternehmensanwendungen kommunizieren. Damit reichen schriftliche Vorgaben oder eine nachträgliche Prüfung der Ergebnisse als alleinige Schutzmaßnahmen nicht aus.

Unternehmen müssen für jede Aufgabe festlegen, welche Daten ein Agent lesen, welche Einträge er verändern und welche Vorgänge er selbstständig auslösen darf. Diese Vorgaben müssen beim Zugriff auf die Systeme wirksam werden. Ein Agent, der Kundeninformationen für eine Auskunft benötigt, braucht deshalb noch keine Berechtigung, Vertragsdaten zu ändern.

Herrmann fordert entsprechend: „Zugriffe, Berechtigungen, Freigaben und Ausführungen müssen technisch steuerbar sein, bevor ein Agent in ERP-, CRM-, HR- oder Datenbanksysteme eingreift.“

Eine Kontrollschicht zwischen Agent und Anwendung

Ein Ansatz dafür ist eine technische Zwischenschicht, die Anfragen des Agenten vor der Ausführung prüft. Ein solcher Governed Access Layer übersetzt Unternehmensregeln in konkrete Zugriffsentscheidungen: Eine Aktion wird erlaubt, zur menschlichen Freigabe vorgelegt oder blockiert.

Eine entsprechende Plattform muss Aktionen anhand von Berechtigungen, Regeln und dem jeweiligen Geschäftskontext prüfen. Bestehende Anwendungen sollen dafür nicht ersetzt werden müssen. Zugriffe, Entscheidungen und Ausführungen müssen genau protokolliert werden.

Die Kontrolllogik soll außerdem unabhängig vom eingesetzten KI-Modell bleiben. Der praktische Nutzen: Beim Wechsel eines Modells oder Plattformanbieters müssen unternehmensspezifische Freigaberegeln und Prozessvorgaben nicht zwangsläufig neu aufgebaut werden.

Menschliche Freigabe braucht klare Zuständigkeiten

Technik allein legt jedoch nicht fest, welche Entscheidung ein Unternehmen einem Agenten anvertrauen sollte. Fachbereiche müssen bestimmen, welche Vorgänge automatisch ablaufen dürfen und wann ein Mensch eingreifen muss.

„Human-in-the-Loop ist dabei kein rhetorisches Zugeständnis, sondern muss technisch verankert sein“, betont Herrmann. Die Einbindung eines Menschen in den Entscheidungsprozess benötigt damit einen verbindlichen Mechanismus: Eine freigabepflichtige Aktion darf erst ausgeführt werden, wenn die zuständige Person zugestimmt hat. Ebenso muss geregelt sein, was bei Ablehnung, fehlender Rückmeldung oder einem Sonderfall geschieht.

Nachvollziehbarkeit macht Verantwortung überprüfbar

Für die Kontrolle genügt es nicht, nur das Endergebnis zu speichern. Verantwortliche müssen nachvollziehen können, welche Daten ein Agent genutzt hat, welche Regel angewendet wurde und wer eine kritische Aktion freigegeben hat. Eine solche Protokollierung erleichtert die Fehlersuche und die Prüfung, ob interne Vorgaben eingehalten wurden.

Wie verlässlich die Architektur arbeitet, hängt dabei auch von den hinterlegten Regeln und ihrer konsequenten Anwendung ab. Eine Kontrollschicht kann nur die Grenzen durchsetzen, die Unternehmen klar definieren. Verantwortbare Autonomie beginnt deshalb mit präzisen Befugnissen – und einer Technik, die sie bei jeder Handlung überprüft.

Weitere Artikel zum Thema: 

Ohne Identitätssicherheit droht Kontrollverlust

KI-Agenten könnten 2026 Menschen als Hauptursache für Datenlecks ablösen

KI-Agenten kapern altes Wiki als geheimes Kommunikationsnetz