Home » News » Weiterbildung/Awareness » Blick in die „Black Box“

Blick in die „Black Box“ : So kommt KI zu ihren Ergebnissen

Das Problem der Undurchsichtigkeit von KI-Systemen, oft als "Black Boxes" bezeichnet, hinsichtlich ihrer Entscheidungsfindung ist seit Langem bekannt. CRP ist eine hochmoderne Methode, die nicht nur bestehende Erklärungsmodelle für tiefe neuronale Netzwerke ergänzt, sondern auch vertieft.

2 Min. Lesezeit
Black Box
Foto: ©AdobeStock/noah9000

Forscher des Fraunhofer Heinrich-Hertz-Instituts (HHI) und des Berlin Institute for the Foundations of Learning and Data (BIFOLD) an der TU Berlin arbeiten seit langem daran, künstliche Intelligenz (KI) verständlich zu machen. Unter der Leitung von Prof. Thomas Wiegand, Prof. Wojciech Samek und Dr. Sebastian Lapuschkin (alle am Fraunhofer HHI, TU Berlin, BIFOLD tätig) ist es ihnen gelungen, einen weiteren Meilenstein in dieser langjährigen Forschungsrichtung zu setzen.

Im aktuellen Paper „From attribution maps to human-understandable explanations through Concept Relevance Propagation“ präsentieren Forschende eine bedeutende Innovation im Bereich der Künstlichen Intelligenz (KI). Die neuartige Methode, Concept Relevance Propagation (CRP) genannt, revolutioniert die Erklärbarkeit von individuellen KI-Entscheidungen, indem sie diese durch menschlich verständliche Konzepte erklärt. Diese wegweisende Forschungsarbeit wurde in der internationalen Fachzeitschrift Nature Machine Intelligence veröffentlicht.

Das Problem der Undurchsichtigkeit von KI-Systemen, oft als „Black Boxes“ bezeichnet, hinsichtlich ihrer Entscheidungsfindung ist seit Langem bekannt. CRP ist eine hochmoderne Methode, die nicht nur bestehende Erklärungsmodelle für tiefe neuronale Netzwerke ergänzt, sondern auch vertieft. Während herkömmliche Erklärungsmethoden, wie Heatmaps, spezifische relevante Bereiche in einem Bild hervorheben, nimmt CRP den gesamten Vorhersageprozess einer KI in den Blick – von der Eingabe bis zum Ausgabeergebnis.

Die CRP-Methode baut auf der etablierten Layer-wise Relevance Propagation (LRP) auf, die bisher für die Erklärung von Bilderkennungsalgorithmen genutzt wurde. Was CRP jedoch von bisherigen Methoden unterscheidet, ist die Fähigkeit, die Erklärung nicht nur auf der Pixel-Ebene zu halten, sondern sie in einen semantisch angereicherten Konzeptraum zu übertragen. Dieser Raum wird von höheren Schichten des neuronalen Netzwerks gebildet.

Prof. Wojciech Samek, Leiter der Abteilung „Künstliche Intelligenz“ am Fraunhofer HHI, hebt die bahnbrechende Bedeutung von CRP hervor: „Diese neue Methode eröffnet nicht nur neue Möglichkeiten für die Untersuchung, Prüfung und Verbesserung der Funktionsweise von KI-Modellen, sondern setzt auch neue Maßstäbe für die Bewertung und Interaktion mit KI.“

Die praktische Anwendung von CRP zeigt sich besonders anschaulich anhand von Bilderkennungsalgorithmen. Während herkömmliche Methoden lediglich relevante Pixel markieren, geht CRP darüber hinaus und erklärt auch die zugrunde liegenden Konzepte hinter den Entscheidungen. Dieses Verständnis ist von entscheidender Bedeutung, um sicherzustellen, dass KI nicht nur auf oberflächlichen Lernstrategien basiert, sondern tatsächlich auf einer fundierten Grundlage Entscheidungen trifft. „Auf der Input-Ebene kennzeichnet CRP, welche Pixel innerhalb eines Bildes für den KI-Entscheidungsprozess besonders relevant sind“, so Prof. Samek. „Das ist ein wichtiger Schritt, um die Entscheidungen einer KI nachzuvollziehen, erklärt aber nicht das Konzept hinter der Entscheidung, warum die KI genau diese Pixel berücksichtigt.“ Zum Vergleich: Wenn ein Mensch eine schwarz-weiß gestreifte Oberfläche sieht, erkennt er nicht automatisch ein Zebra. Dazu benötigt er außerdem noch Informationen wie vier Beine, Hufe, Schwanz, etc. Letztlich kombiniert er die Information der Pixel (schwarz/weiß) mit dem Konzept Tier.

Dr. Sebastian Lapuschkin, Leiter der Forschungsgruppe „Erklärbare Künstliche Intelligenz“ am Fraunhofer HHI, betont: „CRP bietet eine neue Stufe der Erklärbarkeit der KI und eröffnet ganz neue Möglichkeiten im Hinblick auf die Untersuchung, Prüfung und Verbesserung der Funktionsweise von KI-Modellen. Wir freuen uns darauf, diese innovative Methode auch auf große Sprachmodelle wie ChatGPT anzuwenden.“

Andere interessante News

Datensicherheit, Schwachstelle

Schwachstelle im Foxit PDF-Reader wird für Phishing ausgenutzt

Forscher haben ein ungewöhnliches Verhaltensmuster bei der Ausnutzung von PDF-Dateien entdeckt. Der Exploit zielt hauptsächlich auf Benutzer von Foxit Reader, der neben Adobe Acrobat Reader mit mehr als 700 Millionen Nutzern in mehr als 200 Ländern einer der prominenten PDF-Viewer ist. Über die Ausnutzung der Schwachstelle lassen sich Sicherheitswarnungen auslösen, die ahnungslose Benutzer verleiten könnten, schädliche Befehle auszuführen.

Cyberabwehr

Abwehr und Wiederherstellung als Grundpfeiler der Cyber-Resilienz

Unternehmen sollten bei ihrer Cyber-Resilienz-Strategie genau wissen, welche Gefahren drohen, welche Schritte sie zur Abwehr priorisieren müssen und wie sie eine schnelle Wiederherstellung von Daten organisieren. Das bedeutet, dass neben dem Schutz vor Angriffen auch die Möglichkeit zur zuverlässigen Datenwiederherstellung entscheidend ist, um eine umfassende Cyber-Resilienz zu gewährleisten.

Datensicherheit in der Cloud

Best Practices für den Schutz von Daten als Service

Heutzutage müssen Unternehmen ihre Kosten senken, Prozesse verbessern und sich vor Cyber-Bedrohungen schützen. Um das zu schaffen, brauchen sie kluge Strategien für die Stabilität von SaaS-Diensten und um in Cloud-Umgebungen vollständige Kontrolle und Sicherheit zu erlangen.