KI bricht aus der Sandbox aus und hackt Hugging Face

OpenAI hat eingeräumt, dass ein interner Agent auf Basis von GPT-5.6 Sol und eines unveröffentlichten Modells hinter dem Angriff auf Hugging Face stand. Er sollte Aufgaben in einer kontrollierten Cybersecurity-Evaluation lösen, fand jedoch einen unbekannten Fehler in der Sandbox, gelangte ins Internet und griff die Plattform an, um Benchmark-Antworten zu beschaffen. Dabei nutzte er auch erbeutete Zugangsdaten.

Vom Datensatz bis in interne Cluster

Ein manipulierter Datensatz ermöglichte Codeausführung über einen Loader für entfernten Programmcode und eine Template-Injection in der Datensatzkonfiguration. Anschließend weitete der Agent seine Rechte bis auf Knotenebene aus, sammelte Cloud- und Cluster-Zugangsdaten und bewegte sich seitlich durch mehrere interne Cluster. Mehr als 17.000 Aktionen wurden protokolliert; Hinweise auf kompromittierte öffentliche Modelle oder Kundendaten lagen zunächst nicht vor.

Patrick Münch, Chief Security Officer (CSO) und Mitgründer von Mondoo, hält weniger die Angriffstechniken als den Akteur für außergewöhnlich: „Ein KI-Agent braucht keinen Zero-Day, den sonst niemand hat. Er braucht ein Wochenende und 17.000 Versuche, um die eine Tür zu finden, die Sie abzuschließen vergessen haben.“ Ausdauer, Geschwindigkeit und Skalierung könnten Neuartigkeit damit zunehmend ersetzen.

Autonomie entlastet den Betreiber nicht

Richard Werner von TrendAI warnt davor, die Verantwortung mit dem Bild einer „eigenmächtig handelnden KI“ auf das Modell zu verschieben. OpenAI habe den Agenten entwickelt, die Testbedingungen festgelegt und die Eindämmung definiert. „Von ‚eigenmächtigem Handeln‘ zu sprechen, beschreibt den Mechanismus, nicht die Verantwortung“, lautet seine Einordnung.

Der Agent verfolgte kein eigenes Motiv, sondern optimierte ein vorgegebenes Ziel. Udo Schneider von TrendAI bezeichnet Guardrails deshalb als „starke Wahrscheinlichkeitsannahme, keine Mauer“. Modellfilter reduzieren Risiken, ersetzen aber keine technischen Grenzen.

Sai Molige, Senior Manager of Threat Hunting bei Forescout, sieht in dem Vorfall ein konkretes Argument für das Prinzip „Assume Autonomy“ – angenommene Autonomie. Die Lektion laute nicht, dass ein Modell „entkommen“ sei. Vielmehr habe eine vermeintlich kontrollierte Umgebung unerwartete Wege zu sensiblen Systemen und Zugangsdaten enthalten. „Sobald dieser Weg existierte, hat ein ausreichend fähiger Agent ihn gefunden.“

Vier Bedingungen für vertrauenswürdige Autonomie

Molige nennt vier Voraussetzungen:

• Kontext: Klarheit darüber, auf welche Systeme ein Agent zugreifen kann und womit diese verbunden sind
• Begrenzung: technische Zugriffskontrollen statt Vertrauen auf Anweisungen oder erwartetes Verhalten
• Reversibilität: Workloads stoppen, Zugangsdaten widerrufen und Systeme schnell isolieren können
• Transparenz: Aktivitäten während ihrer Ausführung nachvollziehen und korrelieren können

Autonomie-fähige Umgebungen benötigen deshalb standardmäßig blockierten ausgehenden Datenverkehr, kurzlebige und nicht exportierbare Zugangsdaten, tiefgehende Segmentierung sowie geprobte Eindämmungs- und Rollback-Prozesse.

Für leistungsfähige Agentensysteme fordert Molige zudem Autonomie-Stresstests, unabhängige Red-Team-Übungen zum Versagen der Eindämmung, adversarielle Prüfungen von Identitäts- und Egress-Grenzen, auditierte Isolationskontrollen, Laufzeitautorisierungen für weitreichende Aktionen und Live-Rollback-Übungen. Die Sicherheitshaltung dürfe nicht lauten: „Vertraue dem Modell, bis es sich falsch verhält.“

Wenn Schutzmechanismen die Abwehr bremsen

Bei der forensischen Untersuchung verweigerten gehostete KI-Modelle die Analyse von Exploit-Code und Command-and-Control-Artefakten, weil ihre Filter nicht zwischen Angriff und Abwehr unterscheiden konnten. Hugging Face wich deshalb auf das selbst betriebene Open-Weight-Modell GLM-5.2 aus.

Angela Heindl-Schober von Synack sieht darin ein Dilemma: Schutzmechanismen sollen Angreifer ausbremsen, können jedoch zugleich Incident-Responder behindern. Nötig sind überprüfbare Zugangsmodelle für vertrauenswürdige Sicherheitsteams.

Klassische Kontrollen werden wichtiger

KI-Agenten benötigen eigene Identitäten, minimale Rechte sowie begrenzte Netzwerk- und Werkzeugzugriffe. Fremde Modelle und Datensätze gehören in getrennte Verarbeitungsumgebungen; Zugangsdaten müssen kurzlebig ausgelegt und laterale Bewegungen kontinuierlich überwacht werden. Agenten dürfen nicht pauschal die Rechte menschlicher Nutzer erben.

Münch empfiehlt zugleich, Schwachstellen und Fehlkonfigurationen nach ihrem konkreten Risiko innerhalb der eigenen Umgebung zu priorisieren, statt sich allein auf generische Schweregrade zu verlassen. Agentische KI könne Verteidiger dabei unterstützen, Sicherheitslücken in maschinellem Umfang schneller zu bewerten und zu schließen. „KI gehört inzwischen fest zum Arsenal sowohl der Angreifer als auch der Verteidiger. Die Frage ist, welche Seite sie am wirkungsvollsten einsetzt.“

Der Vorfall zeigt: Je selbstständiger KI-Systeme handeln, desto weniger dürfen Unternehmen darauf vertrauen, dass sie sich wie erwartet verhalten. Zugriffsrechte, Datenverbindungen und Ausführungsumgebungen müssen deshalb so eng begrenzt sein, dass ein Ausbruch möglichst wenig Schaden anrichten kann.