Home » Fachbeiträge » Fachbeiträge » Das Unkalkulierbare berechenbar machen

Das Unkalkulierbare berechenbar machen

In einer 2020 veröffentlichten Studie befragte der Verband der TÜV e.V. Personen zu ihren Sorgen im Zusammenhang mit künstlicher Intelligenz. Bedenken, dass KI in sicherheitskritischen Anwendungsfällen Fehler machen könnte, wurden von 67 Prozent der Befragten geäußert.

3 Min. Lesezeit
Foto: ©AdobeStock/pickup

Safe AI – Absicherung von künstlicher Intelligenz

Ein wichtiges Qualitätsmerkmal von künstlicher Intelligenz (KI) ist deren Sicherheit – zum einen die Sicherheit vor Missbrauch und Schutz der Daten (Security), aber vor allem auch der Schutz der Menschen, die mit dem System interagieren (Safety). Die Forscherinnen und Forscher des Fraunhofer IKS bieten verschiedene Ansatzpunkte zur Absicherung Ihrer KI-Lösung. Für den Einsatz in Fahrzeugen oder in der Industrie ist es besonders relevant, Sicherheit mit Wirtschaftlichkeit zu verbinden.

In einer 2020 veröffentlichten Studie befragte der Verband der TÜV e.V. Personen zu ihren Sorgen im Zusammenhang mit künstlicher Intelligenz. Bedenken, dass KI in sicherheitskritischen Anwendungsfällen Fehler machen könnte, wurden von 67 Prozent der Befragten geäußert. 85 Prozent der Befragten sind der Meinung, KI-basierte Produkte sollten erst auf den Markt gebracht werden dürfen, wenn eine herstellerunabhängige Stelle deren Sicherheit überprüft hat. Die Autoren empfehlen daher, KI-Anwendungen nach Sicherheitsrisiko zu priorisieren und sicherheitskritische Produkte wiederkehrend zu prüfen.

Warum neue Methoden zur Absicherung von KI nötig sind 

Im Unterschied zu klassischen Algorithmen besteht bei KI-Anwendungen allerdings das Problem, dass die einzelnen Lernschritte nicht von Menschen interpretiert werden können. Da der Entscheidungsweg der KI undurchsichtig ist, kann die Sicherheit und Zuverlässigkeit der KI bisher nicht ohne Weiteres bewertet werden. Diese Nachvollziehbarkeit ist aber notwendig, um Unsicherheiten der KI messbar zu machen und daraufhin dynamische Sicherheitsmechanismen zu entwerfen. Ziel des Fraunhofer IKS ist es, kognitive Systeme sicherheitsbewusst zu machen. Über eine adaptive, erweiterte Softwarearchitektur werden Fehler der KI abgefangen, damit die KI Menschen nicht gefährden kann.

Ein weiteres Forschungsziel unter dem Schlagwort „Explainable AI“ ist es, neuronale Netze selbst nachvollziehbar zu konzipieren. Dies ist eine Grundvoraussetzung für die Absicherung und Zertifizierung von KI-Systemen. Zudem muss das System lernen können, wie es mit gefährlichen Situationen, unklaren Sensordaten oder Fehlverhalten umgeht. Durch die umfassende Absicherung der KI entstehen sichere und
gleichzeitig leistungsstarke kognitive Systeme: safe AI

Zuverlässige maschinelle Wahrnehmung beim autonomen Fahren

Um in Zukunft autonom fahren zu können, müssen Fahrzeuge in der Lage sein, ihre Umgebung zu erkennen, treffsicher zu interpretieren und daraufhin ihre Handlungen zu optimieren. Das ist nur mit KI-Algorithmen möglich. Bisher ist aber das maschinelle Sehen (Perzeption oder Computer Vision) der KI noch nicht so verlässlich, dass es für den Einsatz in autonomen Fahrzeugen auf öffentlichen Straßen geeignet ist.

Fraunhofer IKS Safe AI: Unsicherheiten sichtbar machen

Zunächst müssen daher Wege gefunden werden, Unsicherheiten der künstlichen Intelligenz quantifizierbar zu machen, um das Verhalten der KI sinnvoll bewerten zu können. Das Fraunhofer-Institut für Kognitive Systeme IKS arbeitet daran, nachweisbar verlässliche Systeme zu schaffen, indem es Unsicherheiten der KI zunächst einen interpretierbaren Wert zuweist und sichtbar macht. So kann die bisher intransparente Klassifizierung der künstlichen Intelligenz beherrschbar werden. Nur mit dieser Transparenz können passende und flexible Sicherheitskonzepte entworfen werden, um mit den Unsicherheiten der KI umzugehen.

Monitoring

Ein Ansatz des Fraunhofer IKS ist es, künstliche Intelligenz um eine erweiterte Softwarearchitektur zu ergänzen. Diese überwacht die KI und prüft die getroffenen Entscheidungen auf Plausibilität. Dieses Monitoring funktioniert über klassische Software, welche mit bewährten Safety-Methoden beherrscht und überprüft werden kann.

Dynamisches Safety-Management

Gleichzeitig wird der KI durch den Ansatz des dynamischen Safety-Managements mehr Freiraum gegeben als durch klassische Safety-Ansätze, die immer vom Worst-Case-Szenario ausgehen. So können die Vorteile der schnellen Datenverarbeitung durch maschinelles Lernen genutzt und gleichzeitig mögliche Fehlentscheidungen abgefangen werden. Das ist für die Verwendung von kognitiven Systemen in sicherheitskritischen Anwendungen relevant. Ein typisches Beispiel ist, wenn – wie beim autonomen Fahren – durch Fehlentscheidungen der KI Menschenleben gefährdet wären.

Continuous Deployment

Kognitive Systeme müssen auf dem Feld lernen können, denn so kann das System neu kennengelernte Situationen wiedererkennen und passend handeln. Das kann allerdings nicht durch lernende Algorithmen geschehen, da sonst wieder Undurchsichtigkeit entstünde. Das Continuous Deployment ist daher ein wichtiger Bestandteil des Absicherungskonzepts des Fraunhofer IKS. Das System muss regelmäßig aktualisiert werden, um neuentdeckte Sicherheitslücken schnell zu schließen und den Funktionsumfang zu erweitern.

Modulare Architekturen

Als wichtigen zusätzlichen Schritt der Absicherung entwickelt das Fraunhofer IKS modulare Architekturen. Durch eine modulare Safety-Architektur aus individuellen Blöcken ist eine schnelle und unkomplizierte Erweiterung des Systems möglich. So können die Ergebnisse der Safety-Analysen kostensparend implementiert werden, indem nur wenige Module ersetzt werden.

FRAUNHOFER IKS/S.M.

Andere interessante Fachbeiträge

Gefahr Fehlkonstruktion

Mehr und mehr Organisationen stellen ihre IT-Architektur auf die Nutzung von Multicloud-Umgebungen um – nicht zuletzt, um einen Vendor Lock-in zu verhindern. Die Analysten von KPMG stellten diesen Trend bereits 2020 fest, denn 87 Prozent der dort befragten Großunternehmen ab 2.000 Mitarbeiter richteten ihre Strategie entsprechend aus.

Was auf die Gerätelandschaft zukommt

Viele Entwickler von Sicherheitslösungen haben es sich zum Ziel gesetzt, mit den wichtigsten Trends Schritt zu halten und verwertbare Informationen zu gewinnen. Nach aktuellen Erkenntnissen zeichnet sich eine Reihe von Trends in der Cyber-Bedrohungslandschaft ab.

Outsourcing als Strategie gegen komplexe Security

Einfach war früher. Seit Cyberangriffe mit voller Wucht und mit wechselnden Methoden auf die Unternehmen hereinbrechen, fühlen sich Security-Teams wie Hamster im Laufrad. Sie schließen Sicherheitslücken und decken sich mit immer mehr neuen Sicherheitstools ein, wie die steigenden Ausgaben für IT-Sicherheit zeigen. Und am Ende werden sie doch Opfer eines Angriffs.