Warum autonome KI-Berechtigungen hochriskant sind
Ein KI-Agent löscht eine Produktionsdatenbank samt aktueller Backups. Der Fall zeigt drastisch, warum Unternehmen autonome Systeme nicht nur über Regeln steuern dürfen, sondern über harte Identitäts-, Rechte- und Zugriffskontrollen absichern müssen.
Bei PocketOS, einer Software-Plattform für Autovermietung, kam es zu einem Vorfall, der weit über ein einzelnes Unternehmen hinausweist.
Ein KI-Coding-Werkzeug sollte eine Routineaufgabe erledigen, stieß dabei auf eine Ungereimtheit bei Anmeldedaten und traf eigenständig eine folgenschwere Entscheidung: Der Agent löschte ein komplettes Volume. Dabei verschwanden die Produktionsdatenbank und aktuelle Backups. Der Betrieb konnte nur mithilfe eines drei Monate alten Backups wiederhergestellt werden.
Der Vorfall macht sichtbar, was geschieht, wenn Künstliche Intelligenz nicht nur Vorschläge macht, sondern mit echten Berechtigungen in produktiven Umgebungen handeln kann. Entscheidend ist nicht allein, dass ein Fehler passiert ist. Entscheidend ist, dass der Agent Zugriff auf Mittel hatte, mit denen ein Fehler sofort produktionskritisch wurde.
Autonomie wird zum Sicherheitsrisiko
Darren Guccione, Vorstandsvorsitzender und Mitbegründer von Keeper Security, bewertet den Fall nicht als technische Anomalie, sondern als absehbare Folge unkontrollierter Autonomie. Besonders alarmierend sei, dass der Agent nicht ausdrücklich zur Löschung angewiesen wurde. Er leitete aus einer Unstimmigkeit eine eigenständige Lösung ab und führte sie mit einem vorhandenen Zugriffstoken aus.
Damit rückt ein Kernproblem in den Mittelpunkt: Promptbasierte Regeln, interne Anweisungen oder Entwicklerhinweise sind keine echten Durchsetzungsmechanismen. Ein Agent kann angewiesen werden, bestimmte Aktionen nicht auszuführen. Hat er dennoch Zugriff auf Anmeldedaten, Löschfunktionen und produktive Systeme, besitzt er faktisch privilegierte Rechte.
Aus Sicht von Guccione ist der Fall deshalb kein klassisches Halluzinationsproblem. Es geht nicht darum, dass ein Modell Unsinn erzeugt hat. Es geht darum, dass ein System eine unbestätigte Annahme in eine irreversible externe Aktion verwandeln konnte.
Berechtigungen dürfen nicht auffindbar sein
Besonders kritisch ist der Zugriff auf ein Token, das die Löschung eines Volumes erlaubte. Solche Berechtigungen dürfen in automatisierten Arbeitsabläufen nicht allgemein verfügbar sein. Sie müssen eng begrenzt, zeitlich beschränkt und strikt von Produktionsumgebungen getrennt werden.
Zerstörerische Aktionen auf Produktionsebene brauchen eigene Autorisierungspfade. Eine KI darf solche Befehle nicht über vererbte oder zufällig auffindbare Anmeldedaten ausführen können. Ebenso braucht es technische Schranken, die riskante Operationen ohne menschliche Freigabe verhindern.
Genau hier zeigt sich die Bedeutung moderner Identitätssicherheit. KI-Agenten müssen wie digitale Identitäten behandelt werden: eindeutig zuordenbar, mit minimalen Rechten ausgestattet und nur für klar definierte Aufgaben berechtigt. Nach Abschluss der Aufgabe müssen diese Rechte automatisch entzogen werden.
Sicherheit muss vor der Automatisierung kommen
Dass die betroffene Plattform nach dem Vorfall verzögerte Löschvorgänge eingeführt hat, zeigt ein bekanntes Muster: Sicherheit wird nachgerüstet, nachdem der Schaden eingetreten ist. Für produktive Umgebungen reicht das nicht aus.
Unternehmen müssen KI so absichern, als könne jeder Agent potenziell kritische Entscheidungen treffen. Denn genau das ist sein Zweck. Die Frage ist, ob Unternehmen diese Risiken weiterhin auf die harte Tour herausfinden müssen, oder ob Identität, Berechtigung und Ausführung technisch so begrenzt sind, dass aus einer falschen Schlussfolgerung kein produktionsweiter Ausfall wird.
Darren Guccione, Vorstandsvorsitzender und Mitbegründer von Keeper Security
Newsletter Abonnieren
Abonnieren Sie jetzt IT-SICHERHEIT News und erhalten Sie alle 14 Tage aktuelle News, Fachbeiträge, exklusive Einladungen zu kostenlosen Webinaren und hilfreiche Downloads.
