KI-Systeme finden und reparieren Cyber-Schwachstellen in Rekordzeit

Die Defense Advanced Research Projects Agency (DARPA) hat die Gewinner ihrer zweijährigen AI Cyber Challenge bekannt gegeben, bei der autonome KI-Systeme erfolgreich Schwachstellen in kritischer Infrastruktursoftware aufspürten und reparierten. Team Atlanta, bestehend aus Experten der Georgia Tech, Samsung Research, des Korea Advanced Institute of Science & Technology (KAIST) und der Pohang University of Science and Technology (POSTECH), sicherte sich den ersten Platz und vier Millionen Dollar Preisgeld.

Das Cyber Reasoning System (CRS) des Siegerteams überzeugte laut DARPA besonders durch seine Fähigkeit, Vulnerabilities schnell zu finden und zu beweisen, qualitativ hochwertige Patches zu generieren und diese präzise zuzuordnen. Trail of Bits aus New York City belegte den zweiten Platz und erhält drei Millionen Dollar, während das Team Theori aus den USA und Südkorea mit 1,5 Millionen Dollar für den dritten Platz belohnt wird. „AIxCC verkörpert, wofür DARPA steht: rigorose, innovative Programme mit hohem Risiko und hohem Ertrag, die die Grenzen der Technologie verschieben“, sagte DARPA-Direktor Stephen Winchell laut der Behörde. Durch die Open-Source-Veröffentlichung von vier der sieben Cyber-Reasoning-Systeme würden diese Werkzeuge sofort für Cyber-Verteidiger verfügbar gemacht.

Beeindruckende technische Fortschritte gegenüber dem Halbfinale

Die Leistungssteigerung der KI-Systeme zwischen dem Halbfinale im August 2024 und dem Finale war erheblich. Laut DARPA identifizierten die Teams in der finalen Bewertungsrunde 77 Prozent der synthetischen Vulnerabilities – eine Steigerung von 37 Prozent gegenüber dem Halbfinale. Bei der Reparatur lag die Erfolgsquote bei 61 Prozent, verglichen mit 25 Prozent im Halbfinale.

Die Systeme analysierten insgesamt 54 Millionen Codezeilen und entdeckten dabei 54 einzigartige synthetische Vulnerabilities in 70 Herausforderungen. Von diesen konnten 43 erfolgreich gepatcht werden. Besonders bemerkenswert: Die Teams benötigten im Durchschnitt nur 45 Minuten für die Einreichung von Patches.

Neben den absichtlich eingebauten Schwachstellen entdeckten die KI-Systeme auch 18 reale, nicht synthetische Vulnerabilities – sechs in C-Codebasen und zwölf in Java-Codebasen. Diese werden laut DARPA verantwortungsvoll an die Betreuer der Open-Source-Projekte weitergeleitet. Elf Patches für reale Vulnerabilities wurden bereits bereitgestellt. „Die Qualität der Patches ist eine entscheidende Errungenschaft, die den Wert der Kombination von KI mit anderen Cyber-Verteidigungstechniken demonstriert“, erklärte AIxCC-Programmmanager Andrew Carney laut DARPA. Es gebe Hinweise darauf, dass der Prozess der Vulnerability-Erkennung durch ein Cyber-Reasoning-System die Patch-Entwicklung in Situationen ermöglichen könne, in denen andere Code-Synthese-Techniken Schwierigkeiten hätten.

Kostenvorteil gegenüber traditionellen Methoden

Die Wettbewerber-CRS bewiesen laut DARPA, dass sie wertvolle Bug-Reports und Patches für einen Bruchteil der Kosten traditioneller Methoden erstellen können. Die durchschnittlichen Kosten pro Wettbewerbsaufgabe betrugen etwa 152 Dollar. Bug Bounties können dagegen von Hunderten bis zu Hunderttausenden von Dollar reichen. Andrew Carney betonte bei der DEF CON-Konferenz laut Security Boulevard, dass die Gewinner gezeigt hätten, „dass sie echte Software schnell, skalierbar und kostengünstig patchen können, und diese Werkzeuge stehen zur Nutzung bereit“. Er forderte die Industrie auf, „diese Art der Automatisierung zu nutzen“ und bezeichnete die Ergebnisse als „neuen Mindeststandard“.

Experten sehen sowohl Chancen als auch Herausforderungen. Seth Spergel von Merlin Ventures hofft laut Security Boulevard, dass die Open-Source-Veröffentlichung „die Anzahl der ausnutzbaren Vulnerabilities von vornherein verringern“ wird. Venky Raju von ColorTokens warnt jedoch vor dem „Potenzial für Angreifer, KI-Tools zur Ausnutzung von Vulnerabilities in Open-Source-Software zu verwenden und automatisch Exploit-Code zu generieren“.

Industrielle Unterstützung und Open-Source-Veröffentlichung

Die AI Cyber Challenge entstand durch Zusammenarbeit zwischen dem öffentlichen Sektor und führenden KI-Unternehmen. Anthropic, Google und OpenAI stellten laut DARPA jeweils 350.000 Dollar in Large Language Model Credits zur Verfügung – 50.000 Dollar für jedes Team zur Unterstützung der CRS-Entwicklung für das Finale. Microsoft und die Open Source Security Foundation der Linux Foundation lieferten Fachexpertise. Alle sieben Finalist-Teams werden ihre CRS als Open-Source-Software unter einer von der Open Source Initiative genehmigten Lizenz verfügbar machen. Vier Teams stellten ihre Systeme bereits zur Verfügung, die anderen folgen in den kommenden Wochen. Zusätzliche Wettbewerbsdaten, einschließlich Framework, Herausforderungen und Telemetrie, sollen ebenfalls als Open Source veröffentlicht werden.

DARPA und die Advanced Research Projects Agency for Health (ARPA-H) stellen zusätzlich 1,4 Millionen Dollar an Preisgeldern bereit, damit die Teams ihre AIxCC-Technologie in reale, für kritische Infrastruktur relevante Software integrieren können. „Der Erfolg der heutigen AIxCC-Finalisten demonstriert das reale Potenzial von KI zur Behebung von Vulnerabilities in unserem Gesundheitssystem“, sagte ARPA-H-Interimsdirektor Jason Roos laut der Behörde. Die DARPA arbeitet mit öffentlichen und privaten Partnern, einschließlich der Teams, daran, die Technologie für eine breite Nutzung zu überführen. Organisationen, die Software in kritischer Infrastruktur pflegen oder entwickeln und AIxCC-Technologie in ihren Softwareentwicklungsprozess integrieren möchten, werden ermutigt, Kontakt aufzunehmen.