Erklärbarkeit

KI-Erklärbarkeit bezeichnet die Fähigkeit, die von künstlicher Intelligenz (KI) getroffenen Entscheidungen und Vorhersagen zu verstehen und zu interpretieren. Da KI- und Machine-Learning-Algorithmen zunehmend komplex werden – insbesondere mit dem Aufkommen von Deep Learning und neuronalen Netzen – agieren sie oft als „Black Boxes“. Das bedeutet, dass selbst Ingenieure und Datenwissenschaftler, die diese Modelle entwickeln, möglicherweise nicht vollständig nachvollziehen können, wie bestimmte Eingaben zu bestimmten Ausgaben führen. KI-Erklärbarkeit soll diese Prozesse beleuchten, KI-Systeme transparenter machen und ihre Ergebnisse für Menschen verständlicher gestalten.

Warum ist KI-Erklärbarkeit wichtig?

Vertrauen und Transparenz

Damit KI-Systeme breit akzeptiert und vertraut werden – besonders in kritischen Bereichen wie Gesundheitswesen, Finanzen und Recht –, müssen die Beteiligten nachvollziehen können, wie Entscheidungen zustande kommen. Wenn ein Machine-Learning-Algorithmus eine medizinische Behandlung empfiehlt oder einen Kreditantrag genehmigt, ist es entscheidend, dass die Nutzer die Begründung hinter diesen Entscheidungen kennen, um Fairness sicherzustellen und Vertrauen aufzubauen.

Gesetzliche Anforderungen

Viele Branchen unterliegen regulatorischen Vorgaben, die Transparenz in Entscheidungsprozessen fordern. Vorschriften können Organisationen dazu verpflichten, Erklärungen für automatisierte Entscheidungen bereitzustellen, insbesondere wenn diese erhebliche Auswirkungen auf Einzelpersonen haben. Die Nichteinhaltung kann rechtliche Konsequenzen und Vertrauensverlust bei den Verbrauchern zur Folge haben.

Erkennen und Reduzieren von Verzerrungen

KI-Systeme, die auf verzerrten Daten trainiert wurden, können diese Verzerrungen fortführen oder sogar verstärken. Erklärbarkeit ermöglicht es Entwicklern und Beteiligten, ungerechte oder verzerrte Entscheidungsfindungen innerhalb von KI-Modellen zu erkennen. Durch das Verständnis, wie Entscheidungen entstehen, können Organisationen Maßnahmen zur Korrektur von Verzerrungen ergreifen und sicherstellen, dass die KI fair über verschiedene Bevölkerungsgruppen hinweg agiert.

Verbesserung der Modellleistung

Das Verständnis der Funktionsweise von KI-Modellen ermöglicht es Datenwissenschaftlern, die Modellleistung zu optimieren. Indem sie interpretieren, welche Merkmale Entscheidungen beeinflussen, können sie das Modell feinjustieren, die Genauigkeit steigern und sicherstellen, dass es auf neue Daten gut generalisiert.

Wie wird KI-Erklärbarkeit erreicht?

Die Erreichung von KI-Erklärbarkeit erfordert eine Kombination aus der Entwicklung interpretierbarer Modelle und dem Einsatz von Techniken zur nachträglichen Interpretation komplexer Modelle.

Interpretierbarkeit vs. Erklärbarkeit

• Interpretierbarkeit beschreibt, inwieweit ein Mensch den Grund für eine von einem KI-System getroffene Entscheidung nachvollziehen kann.
• Erklärbarkeit geht noch einen Schritt weiter und liefert eine explizite Beschreibung der Faktoren und Begründungen, die zu einer Entscheidung geführt haben.

Beide Konzepte sind verwandt: Interpretierbarkeit bezieht sich auf die Transparenz des Modells selbst, während sich Erklärbarkeit auf die Generierung von Erklärungen für die Modellausgaben konzentriert.

Interpretierbare Modelle

Interpretierbare Modelle sind von Natur aus verständlich. Beispiele hierfür sind:

• Lineare Regression: Modelle, bei denen der Zusammenhang zwischen Eingabemerkmalen und Ausgabe linear ist, sodass die Koeffizienten als Einfluss der einzelnen Merkmale interpretiert werden können.
• Entscheidungsbäume: Visuelle Darstellungen von Entscheidungen, bei denen jeder Knoten ein Merkmal und die Zweige Entscheidungsregeln repräsentieren.
• Regelbasierte Systeme: Systeme, die eine Reihe von für Menschen verständlichen Regeln zur Entscheidungsfindung nutzen.

Diese Modelle verzichten zugunsten der Transparenz auf etwas Vorhersagekraft, sind aber dort wertvoll, wo Erklärbarkeit entscheidend ist.

Nachträgliche Erklärungen (Post-hoc-Explanations)

Für komplexe Modelle wie tiefe neuronale Netze, die weniger interpretierbar sind, werden Post-hoc-Erklärungen verwendet. Diese Techniken analysieren das Verhalten des Modells, nachdem es eine Vorhersage gemacht hat.

Modellunabhängige Methoden

Diese Methoden können auf jeden Modelltyp angewendet werden, ohne dass Zugriff auf dessen interne Struktur erforderlich ist.

Local Interpretable Model-Agnostic Explanations (LIME)

LIME ist eine beliebte Technik, die die Vorhersage eines beliebigen Klassifikators lokal durch ein interpretierbares Modell annähert. Für eine bestimmte Vorhersage verändert LIME die Eingabedaten leicht und beobachtet die Änderungen in der Ausgabe, um zu bestimmen, welche Merkmale die Entscheidung am stärksten beeinflussen.

SHapley Additive exPlanations (SHAP)

SHAP-Werte basieren auf der kooperativen Spieltheorie und bieten ein einheitliches Maß für die Wichtigkeit von Merkmalen. Sie quantifizieren den Beitrag jedes Merkmals zur Vorhersage, wobei alle möglichen Merkmalskombinationen berücksichtigt werden.

Globale vs. lokale Erklärungen

• Globale Erklärungen: Bieten einen Gesamtüberblick über das Verhalten des Modells für alle Datenpunkte.
• Lokale Erklärungen: Konzentrieren sich auf eine einzelne Vorhersage und erläutern, warum das Modell für einen bestimmten Einzelfall eine spezielle Entscheidung getroffen hat.

Forschung zur KI-Erklärbarkeit

KI-Erklärbarkeit hat als Forschungsthema an Bedeutung gewonnen, da KI-Systeme zunehmend in menschliche Entscheidungsprozesse integriert werden. Hier sind einige aktuelle wissenschaftliche Arbeiten, die sich mit diesem wichtigen Thema befassen:

1. Explainable AI Improves Task Performance in Human-AI Collaboration (Veröffentlicht: 12.06.2024)
   Autoren: Julian Senoner, Simon Schallmoser, Bernhard Kratzwald, Stefan Feuerriegel, Torbjørn Netland
   Diese Arbeit untersucht, wie erklärbare KI die Aufgabenleistung bei der Zusammenarbeit zwischen Mensch und KI verbessert. Die Autoren argumentieren, dass herkömmliche KI als Black-Box agiert und es Menschen erschwert, KI-Vorhersagen mit ihrem eigenen Wissen abzugleichen. Durch die Einführung erklärbarer KI, insbesondere mit visuellen Heatmaps, stellte die Studie eine verbesserte Aufgabenleistung fest. Zwei Experimente mit Fabrikarbeitern und Radiologen zeigten eine deutliche Verringerung der Fehlerquote bei Verwendung erklärbarer KI. Diese Forschung unterstreicht das Potenzial erklärbarer KI zur Verbesserung der Entscheidungsgenauigkeit bei realen Aufgaben. Mehr erfahren

2. „Weak AI“ is Likely to Never Become “Strong AI”, So What is its Greatest Value for Us? (Veröffentlicht: 29.03.2021)
   Autor: Bin Liu
   Diese Arbeit befasst sich mit den anhaltenden Kontroversen um die Fähigkeiten und das Zukunftspotenzial von KI. Sie unterscheidet zwischen „schwacher KI“ und „starker KI“ und argumentiert, dass starke KI möglicherweise nie erreicht wird, schwache KI jedoch erheblichen Nutzen bringt. Der Autor geht auf die Kriterien zur Klassifizierung von KI-Forschung ein und diskutiert die gesellschaftlichen Auswirkungen der aktuellen KI-Fähigkeiten. Diese Arbeit bietet eine philosophische Perspektive auf die Rolle der KI in der Gesellschaft. Mehr erfahren

3. Understanding Mental Models of AI through Player-AI Interaction (Veröffentlicht: 30.03.2021)
   Autoren: Jennifer Villareale, Jichen Zhu
   Diese Studie untersucht, wie Menschen durch Interaktionen in KI-basierten Spielen mentale Modelle von KI-Systemen entwickeln. Die Autoren schlagen vor, dass solche Interaktionen wertvolle Einblicke in die sich entwickelnden mentalen Modelle der KI-Nutzer bieten. Eine Fallstudie wird präsentiert, um die Vorteile der Nutzung von Spielen zur Untersuchung erklärbarer KI aufzuzeigen, wobei solche Interaktionen das Nutzerverständnis für KI-Systeme verbessern können.

4. From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction (Veröffentlicht: 23.05.2024)
   Autoren: Muhammad Raees, Inge Meijerink, Ioanna Lykourentzou, Vassilis-Javed Khan, Konstantinos Papangelis
   Dieses Literatur-Review untersucht den Übergang von erklärbarer zu interaktiver KI und betont die Bedeutung menschlicher Beteiligung bei der Entwicklung und dem Betrieb von KI-Systemen. Das Papier beleuchtet aktuelle Trends und gesellschaftliche Bedenken im Bereich Mensch-KI-Interaktion und hebt hervor, dass KI-Systeme sowohl erklärbar als auch interaktiv sein sollten. Diese umfassende Übersicht bietet eine Orientierung für zukünftige Forschung in diesem Bereich.