Verklaarbaarheid

AI-verklaarbaarheid verwijst naar het vermogen om de beslissingen en voorspellingen van kunstmatige intelligentie (AI) systemen te begrijpen en te interpreteren. Naarmate AI- en machine learning-algoritmen steeds complexer worden, vooral met de opkomst van deep learning en neurale netwerken, functioneren ze vaak als een “black box”. Dit betekent dat zelfs de ingenieurs en datawetenschappers die deze modellen ontwikkelen, niet altijd volledig begrijpen hoe specifieke input leidt tot specifieke output. AI-verklaarbaarheid probeert deze processen te verduidelijken, zodat AI-systemen transparanter worden en hun uitkomsten beter te begrijpen zijn voor mensen.

Waarom is AI-verklaarbaarheid belangrijk?

Vertrouwen en transparantie

Voor een brede acceptatie en vertrouwen in AI-systemen, vooral in kritieke domeinen zoals gezondheidszorg, financiën en het juridische systeem, moeten belanghebbenden begrijpen hoe beslissingen worden genomen. Wanneer een machine learning-algoritme een medische behandeling aanbeveelt of een lening goedkeurt, is het essentieel dat gebruikers de redenering achter deze beslissingen kennen om eerlijkheid te waarborgen en vertrouwen op te bouwen.

Regelgevende vereisten

Veel sectoren vallen onder regelgeving die transparantie in besluitvormingsprocessen vereist. Regelgeving kan organisaties verplichten om uitleg te geven over geautomatiseerde beslissingen, zeker wanneer deze grote impact hebben op individuen. Het niet naleven hiervan kan leiden tot juridische gevolgen en verlies van consumentenvertrouwen.

Identificeren en verminderen van bias

AI-systemen die getraind zijn op bevooroordeelde data kunnen deze bias in stand houden of zelfs versterken. Verklaarbaarheid maakt het mogelijk voor ontwikkelaars en betrokkenen om oneerlijke of bevooroordeelde besluitvorming binnen AI-modellen te identificeren. Door te begrijpen hoe beslissingen worden genomen, kunnen organisaties stappen ondernemen om bias te corrigeren, zodat AI-systemen eerlijk functioneren over verschillende groepen heen.

Verbeteren van modelprestaties

Door inzicht te krijgen in de werking van AI-modellen, kunnen datawetenschappers de prestaties optimaliseren. Door te interpreteren welke kenmerken invloed hebben op beslissingen, kunnen ze het model verfijnen, de nauwkeurigheid verbeteren en zorgen dat het goed presteert op nieuwe data.

Hoe wordt AI-verklaarbaarheid bereikt?

AI-verklaarbaarheid wordt bereikt door een combinatie van het ontwerpen van interpreteerbare modellen en het toepassen van technieken om complexe modellen achteraf te verklaren.

Interpretatie vs. verklaarbaarheid

• Interpretatie verwijst naar de mate waarin een mens de oorzaak van een beslissing van een AI-systeem kan begrijpen.
• Verklaarbaarheid gaat een stap verder door een expliciete beschrijving te geven van de factoren en redeneringen die tot een beslissing hebben geleid.

Hoewel beide concepten verwant zijn, ligt interpretatie op de transparantie van het model zelf, terwijl verklaarbaarheid zich richt op het genereren van verklaringen voor de uitkomst van het model.

Interpreteerbare modellen

Interpreteerbare modellen zijn van nature begrijpelijk. Voorbeelden zijn:

• Lineaire regressie: Modellen waarbij de relatie tussen invoerkenmerken en de output lineair is, waardoor de coëfficiënten eenvoudig te interpreteren zijn als de invloed van elk kenmerk.
• Beslissingsbomen: Visuele weergaven van beslissingen, waarbij elke knoop een kenmerk representeert en de takken beslisregels voorstellen.
• Regelgebaseerde systemen: Systemen die beslissingen nemen op basis van voor mensen begrijpelijke regels.

Deze modellen leveren soms wat voorspellend vermogen in voor transparantie, maar zijn waardevol wanneer verklaarbaarheid essentieel is.

Post-hoc verklaringen

Voor complexe modellen zoals diepe neurale netwerken, die minder interpreteerbaar zijn, worden post-hoc verklaringen gebruikt. Deze technieken analyseren het gedrag van het model nadat het een voorspelling heeft gedaan.

Model-agnostische methoden

Deze methoden kunnen op elk type model worden toegepast zonder toegang tot de interne structuur ervan.

Local Interpretable Model-Agnostic Explanations (LIME)

LIME is een populaire techniek die de voorspelling van elke classifier uitlegt door deze lokaal te benaderen met een interpreteerbaar model. Voor een bepaalde voorspelling varieert LIME de invoergegevens lichtjes en observeert de veranderingen in de output om te bepalen welke kenmerken de beslissing het meest beïnvloeden.

SHapley Additive exPlanations (SHAP)

SHAP-waarden zijn gebaseerd op de coöperatieve speltheorie en bieden een uniforme maat voor kenmerkbelang. Ze kwantificeren de bijdrage van elk kenmerk aan de voorspelling, waarbij rekening wordt gehouden met alle mogelijke combinaties van kenmerken.

Globale vs. lokale verklaringen

• Globale verklaringen: Geven inzicht in het algemene gedrag van het model over alle datapunten heen.
• Lokale verklaringen: Richten zich op een enkele voorspelling en leggen uit waarom het model een specifieke beslissing heeft genomen voor één individueel geval.

Onderzoek naar AI-verklaarbaarheid

AI-verklaarbaarheid heeft veel aandacht gekregen nu AI-systemen steeds meer in menselijke besluitvorming worden geïntegreerd. Hier zijn enkele recente wetenschappelijke publicaties die ingaan op dit belangrijke onderwerp:

1. Explainable AI Improves Task Performance in Human-AI Collaboration (Gepubliceerd: 2024-06-12)
   Auteurs: Julian Senoner, Simon Schallmoser, Bernhard Kratzwald, Stefan Feuerriegel, Torbjørn Netland
   Dit artikel onderzoekt de impact van verklaarbare AI op het verbeteren van taakprestaties tijdens samenwerking tussen mens en AI. De auteurs stellen dat traditionele AI als een black box fungeert, waardoor het voor mensen lastig is om AI-voorspellingen te valideren met hun eigen kennis. Door verklaarbare AI te introduceren, specifiek via visuele heatmaps, constateerde de studie een verbetering van de taakprestatie. Twee experimenten werden uitgevoerd met fabrieksarbeiders en radiologen, die een significante vermindering van het foutenpercentage lieten zien door het gebruik van verklaarbare AI. Dit onderzoek benadrukt het potentieel van verklaarbare AI om de nauwkeurigheid van besluitvorming in de praktijk te vergroten. Lees meer

2. “Weak AI” is Likely to Never Become “Strong AI”, So What is its Greatest Value for Us? (Gepubliceerd: 2021-03-29)
   Auteur: Bin Liu
   Dit artikel behandelt de voortdurende discussies over de mogelijkheden en toekomstige potentie van AI. Er wordt onderscheid gemaakt tussen “zwakke AI” en “sterke AI”, en de auteur betoogt dat hoewel sterke AI waarschijnlijk niet haalbaar is, zwakke AI aanzienlijke waarde heeft. De criteria voor het classificeren van AI-onderzoek worden besproken en de maatschappelijke implicaties van de huidige AI-mogelijkheden worden uitgelicht. Dit werk biedt een filosofisch perspectief op de rol van AI in de samenleving. Lees meer

3. Understanding Mental Models of AI through Player-AI Interaction (Gepubliceerd: 2021-03-30)
   Auteurs: Jennifer Villareale, Jichen Zhu
   Deze studie onderzoekt hoe individuen mentale modellen van AI-systemen ontwikkelen via interacties in AI-gebaseerde spellen. De auteurs stellen dat deze interacties waardevolle inzichten bieden in de evoluerende mentale modellen van AI-gebruikers. Een casestudy wordt gepresenteerd om de voordelen van het gebruik van spellen voor het bestuderen van verklaarbare AI te benadrukken, wat suggereert dat zulke interacties het begrip van AI-systemen bij gebruikers kunnen vergroten.

4. From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction (Gepubliceerd: 2024-05-23)
   Auteurs: Muhammad Raees, Inge Meijerink, Ioanna Lykourentzou, Vassilis-Javed Khan, Konstantinos Papangelis
   Deze literatuurstudie onderzoekt de verschuiving van verklaarbare AI naar interactieve AI, met nadruk op het belang van menselijke betrokkenheid bij de ontwikkeling en werking van AI-systemen. Het artikel bespreekt huidige trends en maatschappelijke zorgen rond mens-AI-interactie en benadrukt de noodzaak van AI-systemen die zowel verklaarbaar als interactief zijn. Deze uitgebreide review biedt een routekaart voor toekomstig onderzoek binnen dit vakgebied.