Ein kompromittiertes Modell nutzt jedes Recht, das es hat: Least Privilege für die KI

Künstliche-Intelligenz-(KI)-Modelle übernehmen in Unternehmen zunehmend operative Aufgaben: Sie unterstützen Security-Prozesse, analysieren Geschäftsdaten, automatisieren Abläufe oder liefern Entscheidungsgrundlagen für Fachabteilungen. Dabei binden IT-Teams sie immer stärker in bestehende IT-Umgebungen ein – mit Zugriff auf Daten, Anwendungen und Systeme.

Je eigenständiger KI-Systeme agieren, desto relevanter wird ihre Rolle im Identity- und Access-Management (IAM). Es ist daher naheliegend, dass Organisationen KI-Modelle künftig wie separate Identitäten in Verzeichnissystemen führen: mit eigenen Rollen, definierten Zugriffsrechten und klar abgegrenzten Aufgaben.

Für IT- und Security-Teams entsteht dadurch ein zusätzlicher Risikobereich. Kompromittierte oder manipulierte KI-Modelle können innerhalb der ihnen zugewiesenen Rechte agieren, Daten verarbeiten, Entscheidungen beeinflussen oder auf sensible Systeme zugreifen. Das erweitert die Angriffsfläche des Unternehmens und schafft neue Formen potenzieller Insider- Bedrohungen.

Vor diesem Hintergrund sollten Unternehmen autonome KI-Modelle konsequent als eigenständige Identitäten behandeln. Dafür sind geeignete Kontrollen erforderlich, um Berechtigungen nachvollziehbar zu verwalten, Aktivitäten zu überwachen und die Autonomie wirksam zu begrenzen.

KI-Systeme brauchen eigene Rollen im Berechtigungsmodell

Sobald KI-Systeme eigenständig Workflows ausführen, Aktionen in angebundenen Systemen anstoßen oder Entscheidungen innerhalb definierter Parameter treffen sollen, benötigen sie kontrollierten Zugriff auf Daten, Anwendungen und Schnittstellen.

Das bedeutet aber auch, dass sie eigene Rollen und Berechtigungen benötigen, die im Berechtigungsmodell des Unternehmens berücksichtigt werden müssen. Dabei stellen sich dieselben Grundfragen wie bei menschlichen Nutzern, Servicekonten oder anderen Entitäten: Welche Zugriffsrechte sind erforderlich und wie lassen sie sich kontrollieren?

Damit steigen auch die Anforderungen an Identity Governance und Access Management. Jede KI-Identität, die Zugriff auf Daten, Anwendungen oder Infrastrukturdienste erhält, kann bei Fehlkonfiguration, Manipulation oder Kompromittierung zur Gefährdung werden. Verantwortliche sollten Berechtigungen daher rollenbasiert vergeben, regelmäßig überprüfen und auf das erforderliche Minimum beschränken.

Vier zentrale Risiken autonomer KI-Identitäten

Autonome KI-Identitäten können Unternehmen unterstützen, erweitern aber zugleich die Angriffsfläche. Besonders relevant sind dabei folgende Risiken:

• Manipulation von KI-Modellen: Angreifer können KI-Modelle durch verzerrte, manipulierte oder zufällige Daten beeinflussen. Das kann zu fehlerhaften Analysen oder falschen Entscheidungen führen – mit potenziell erheblichen Auswirkungen auf Anwendungen in Bereichen wie Finanzen, Sicherheit oder Gesundheitswesen.
• Insider-Bedrohungen durch KI: Wird ein KI-System kompromittiert, agiert es möglicherweise weiterhin innerhalb seiner legitimen Berechtigungen. Dadurch sind solche Vorfälle schwerer zu erkennen als klassische Insider-Aktivitäten von menschlichen Akteuren.
• Abweichendes Verhalten: KI-Modelle können sich durch Trainingsdaten, Prompts oder geänderte Rahmenbedingungen auf unvorhersehbare Weise weiterentwickeln. Zwar verfügen sie nicht über ein echtes Bewusstsein, doch ihre Entscheidungsmuster können trotzdem stark vom erwarteten Verhalten abweichen. So kann beispielsweise ein KI-Sicherheitsmodell nach Kontakt mit irreführenden Trainingsdaten beginnen, legitime Transaktionen fälschlicherweise als betrügerisch einzustufen – oder umgekehrt.
• Missbrauch privilegierter KI-Identitäten: Wie gestohlene Zugangsdaten können auch kompromittierte KI-Identitäten Angreifern dazu dienen, Sicherheitsmaßnahmen zu umgehen. Übernimmt ein Angreifer ein KI-System mit privilegiertem Zugriff, erhält er ein mächtiges Werkzeug, um auf sensible Daten oder Systeme zuzugreifen.

Governance-Strategien

Um diese Risiken zu reduzieren, sollten Unternehmen KI-Modelle in ihr Identity- und Access-Management einbeziehen. Die folgenden Strategien können dabei helfen:

• Rollenbasiertes Identitätsmanagement: Genau wie für Mitarbeiter sollten Security-Teams für KI-Modelle strenge rollenbasierte Zugriffskontrollen einrichten. So lässt sich sicherstellen, dass sie nur über die Rechte verfügen, die sie zur Ausführung bestimmter Aufgaben benötigen.
• Kontinuierliche Verhaltensüberwachung: Unternehmen sollten die Aktivitäten von KI-Modellen mit KI-gestützten Monitoring-Tools fortlaufend überwachen. Weicht ein Modell von erwarteten Mustern ab, sollte das System umgehend eine Warnmeldung auslösen.
• Zero-Trust-Architektur: Auch KI-Modelle sollten nicht pauschal als vertrauenswürdig gelten. Zugriffe sollten kontinuierlich überprüft und kontextabhängig bewertet werden.
• Widerruf und Auditierung von KI-Identitäten: Unternehmen sollten frühzeitig klare Verfahren definieren, um KI-Berechtigungen schnell anpassen, einschränken oder entziehen zu können. Dabei gilt es, Zugriffe und Entscheidungen nachvollziehbar zu protokollieren, damit sich Vorfälle analysieren und Berechtigungen regelmäßig überprüfen lassen.

Ein Beispiel aus der Praxis: Ein KI-System zur Vorprüfung von Support-Tickets benötigt Zugang zu Ticketdaten, Wissensartikeln und zu ausgewählten Asset-Informationen – aber keine administrativen Rechte im IT-Service-Management-System. Diese Abgrenzung sollte im Rollenmodell klar hinterlegt sein.

Kobra-Effekt: Wenn Kontrolle neue Angriffsflächen schafft

Die Einbindung von KI-Identitäten in Verzeichnissysteme birgt allerdings auch neue Risiken. KI-Modelle erhalten dadurch zwar kontrollierte Berechtigungen, können unter Umständen aber auch die Struktur und Funktionsweise dieser Systeme erfassen.

Auf diese Weise könnten sie beispielsweise lernen, welche Rollen besonders weitreichende Rechte haben, wie sich Berechtigungen vererben oder welche administrativen Funktionen für bestimmte Aufgaben zum Einsatz kommen. Wird ein Modell manipuliert oder durch bösartige Prompts beeinflusst, könnte es dieses Wissen nutzen, um Daten abzugreifen, Berechtigungsgrenzen auszutesten oder Sicherheitskontrollen gezielt zu umgehen.

Damit könnte eine Maßnahme, die eigentlich mehr Kontrolle schaffen soll, neue Angriffsmöglichkeiten eröffnen – ein möglicher Kobra-Effekt. Gemeint ist damit eine Situation, in der eine Schutzmaßnahme unbeabsichtigt dazu beiträgt, das ursprüngliche Problem zu verschärfen.

Im Fall von KI-Identitäten kann das passieren, wenn ihre Einbindung in IAM- und Verzeichnissysteme zwar Transparenz und Steuerbarkeit schafft, zugleich aber neue Informationen preisgibt, die Angreifer bei einer Kompromittierung ausnutzen könnten.

Umso wichtiger ist es, nicht nur die KI-Identitäten selbst zu verwalten, sondern auch ihren Zugriff auf Verzeichnisinformationen, Logs und administrative Funktionen gezielt zu begrenzen und fortlaufend zu überwachen.

Fazit

Je stärker Organisationen KI-Modelle in operative Prozesse einbinden, desto wichtiger wird ein kontrollierter Umgang mit ihren Berechtigungen. Vollständig autonome KI-Entitäten sind in vielen Organisationen zwar noch Zukunftsmusik, doch schon heute entstehen Systeme, die eigenständig Aufgaben ausführen, auf Daten zugreifen und Entscheidungen vorbereiten oder treffen.

Deshalb sollten Unternehmen frühzeitig festlegen, wie weit die Autonomie solcher Modelle reichen darf. KI-Identitäten benötigen klare Rollen, eng begrenzte Berechtigungen und kontinuierliche Überwachung. So lässt sich der Nutzen autonomer KI-Systeme besser ausschöpfen, ohne Sicherheitsrisiken unnötig zu vergrößern.