Blick in die „Black Box“ : So kommt KI zu ihren Ergebnissen
Das Problem der Undurchsichtigkeit von KI-Systemen, oft als "Black Boxes" bezeichnet, hinsichtlich ihrer Entscheidungsfindung ist seit Langem bekannt. CRP ist eine hochmoderne Methode, die nicht nur bestehende Erklärungsmodelle für tiefe neuronale Netzwerke ergänzt, sondern auch vertieft.
Forscher des Fraunhofer Heinrich-Hertz-Instituts (HHI) und des Berlin Institute for the Foundations of Learning and Data (BIFOLD) an der TU Berlin arbeiten seit langem daran, künstliche Intelligenz (KI) verständlich zu machen. Unter der Leitung von Prof. Thomas Wiegand, Prof. Wojciech Samek und Dr. Sebastian Lapuschkin (alle am Fraunhofer HHI, TU Berlin, BIFOLD tätig) ist es ihnen gelungen, einen weiteren Meilenstein in dieser langjährigen Forschungsrichtung zu setzen.
Im aktuellen Paper „From attribution maps to human-understandable explanations through Concept Relevance Propagation“ präsentieren Forschende eine bedeutende Innovation im Bereich der Künstlichen Intelligenz (KI). Die neuartige Methode, Concept Relevance Propagation (CRP) genannt, revolutioniert die Erklärbarkeit von individuellen KI-Entscheidungen, indem sie diese durch menschlich verständliche Konzepte erklärt. Diese wegweisende Forschungsarbeit wurde in der internationalen Fachzeitschrift Nature Machine Intelligence veröffentlicht.
Das Problem der Undurchsichtigkeit von KI-Systemen, oft als „Black Boxes“ bezeichnet, hinsichtlich ihrer Entscheidungsfindung ist seit Langem bekannt. CRP ist eine hochmoderne Methode, die nicht nur bestehende Erklärungsmodelle für tiefe neuronale Netzwerke ergänzt, sondern auch vertieft. Während herkömmliche Erklärungsmethoden, wie Heatmaps, spezifische relevante Bereiche in einem Bild hervorheben, nimmt CRP den gesamten Vorhersageprozess einer KI in den Blick – von der Eingabe bis zum Ausgabeergebnis.
Die CRP-Methode baut auf der etablierten Layer-wise Relevance Propagation (LRP) auf, die bisher für die Erklärung von Bilderkennungsalgorithmen genutzt wurde. Was CRP jedoch von bisherigen Methoden unterscheidet, ist die Fähigkeit, die Erklärung nicht nur auf der Pixel-Ebene zu halten, sondern sie in einen semantisch angereicherten Konzeptraum zu übertragen. Dieser Raum wird von höheren Schichten des neuronalen Netzwerks gebildet.
Prof. Wojciech Samek, Leiter der Abteilung „Künstliche Intelligenz“ am Fraunhofer HHI, hebt die bahnbrechende Bedeutung von CRP hervor: „Diese neue Methode eröffnet nicht nur neue Möglichkeiten für die Untersuchung, Prüfung und Verbesserung der Funktionsweise von KI-Modellen, sondern setzt auch neue Maßstäbe für die Bewertung und Interaktion mit KI.“
Die praktische Anwendung von CRP zeigt sich besonders anschaulich anhand von Bilderkennungsalgorithmen. Während herkömmliche Methoden lediglich relevante Pixel markieren, geht CRP darüber hinaus und erklärt auch die zugrunde liegenden Konzepte hinter den Entscheidungen. Dieses Verständnis ist von entscheidender Bedeutung, um sicherzustellen, dass KI nicht nur auf oberflächlichen Lernstrategien basiert, sondern tatsächlich auf einer fundierten Grundlage Entscheidungen trifft. „Auf der Input-Ebene kennzeichnet CRP, welche Pixel innerhalb eines Bildes für den KI-Entscheidungsprozess besonders relevant sind“, so Prof. Samek. „Das ist ein wichtiger Schritt, um die Entscheidungen einer KI nachzuvollziehen, erklärt aber nicht das Konzept hinter der Entscheidung, warum die KI genau diese Pixel berücksichtigt.“ Zum Vergleich: Wenn ein Mensch eine schwarz-weiß gestreifte Oberfläche sieht, erkennt er nicht automatisch ein Zebra. Dazu benötigt er außerdem noch Informationen wie vier Beine, Hufe, Schwanz, etc. Letztlich kombiniert er die Information der Pixel (schwarz/weiß) mit dem Konzept Tier.
Dr. Sebastian Lapuschkin, Leiter der Forschungsgruppe „Erklärbare Künstliche Intelligenz“ am Fraunhofer HHI, betont: „CRP bietet eine neue Stufe der Erklärbarkeit der KI und eröffnet ganz neue Möglichkeiten im Hinblick auf die Untersuchung, Prüfung und Verbesserung der Funktionsweise von KI-Modellen. Wir freuen uns darauf, diese innovative Methode auch auf große Sprachmodelle wie ChatGPT anzuwenden.“
