Forklarbarhed

AI-forklarbarhed henviser til evnen til at forstå og fortolke de beslutninger og forudsigelser, som kunstig intelligens (AI) træffer. Efterhånden som AI og maskinlæringsalgoritmer bliver mere og mere komplekse, især med fremkomsten af dyb læring og neurale netværk, fungerer de ofte som “black boxes.” Det betyder, at selv de ingeniører og dataspecialister, der udvikler disse modeller, måske ikke fuldt ud forstår, hvordan bestemte input fører til bestemte output. AI-forklarbarhed søger at kaste lys over disse processer, gøre AI-systemer mere gennemsigtige og deres resultater mere forståelige for mennesker.

Hvorfor er AI-forklarbarhed vigtigt?

Tillid og gennemsigtighed

For at AI-systemer kan blive bredt accepteret og betroet, især i kritiske områder som sundhedsvæsen, finans og retssystemer, er det nødvendigt, at interessenter forstår, hvordan beslutninger træffes. Når en maskinlæringsalgoritme anbefaler en medicinsk behandling eller godkender en låneansøgning, er det afgørende for brugerne at kende begrundelsen bag disse beslutninger for at sikre retfærdighed og opbygge tillid.

Lovgivningsmæssige krav

Mange brancher er underlagt lovgivningsmæssige rammer, der kræver gennemsigtighed i beslutningsprocesserne. Regulativer kan pålægge organisationer at give forklaringer på automatiserede beslutninger, især når de har væsentlig betydning for enkeltpersoner. Manglende overholdelse kan medføre juridiske konsekvenser og tab af forbrugertillid.

Identifikation og reduktion af bias

AI-systemer, der er trænet på biased data, kan videreføre og endda forstærke disse skævheder. Forklarbarhed giver udviklere og interessenter mulighed for at identificere uretfærdig eller biased beslutningstagning i AI-modeller. Ved at forstå, hvordan beslutninger træffes, kan organisationer tage skridt til at rette bias, så AI-systemerne fungerer retfærdigt på tværs af forskellige demografier.

Forbedring af modelpræstation

Forståelse af AI-modellers indre funktion gør det muligt for dataspecialister at optimere modelpræstationen. Ved at fortolke, hvilke egenskaber der påvirker beslutninger, kan de finjustere modellen, forbedre nøjagtigheden og sikre, at den generaliserer godt til nye data.

Hvordan opnås AI-forklarbarhed?

At opnå AI-forklarbarhed involverer en kombination af at designe fortolkelige modeller og anvende teknikker til at fortolke komplekse modeller efterfølgende.

Fortolkning vs. forklarbarhed

• Fortolkning refererer til, hvor godt et menneske kan forstå årsagen til en beslutning taget af et AI-system.
• Forklarbarhed går et skridt videre ved at give en eksplicit beskrivelse af de faktorer og den ræsonnement, der førte til en beslutning.

Selvom begge begreber er beslægtede, fokuserer fortolkning på modellens gennemsigtighed, mens forklarbarhed fokuserer på at generere forklaringer for modellens output.

Fortolkelige modeller

Fortolkelige modeller er i sig selv forståelige. Eksempler inkluderer:

• Lineær regression: Modeller hvor forholdet mellem input-egenskaber og output er lineært, hvilket gør det let at fortolke koefficienterne som indflydelsen af hver egenskab.
• Beslutningstræer: Visuelle repræsentationer af beslutninger, hvor hver node repræsenterer en egenskab, og grene repræsenterer beslutningsregler.
• Regelbaserede systemer: Systemer, der bruger et sæt menneskeforståelige regler til at træffe beslutninger.

Disse modeller ofrer noget prædiktiv kraft for gennemsigtighed, men er værdifulde, når forklarbarhed er afgørende.

Post-hoc forklaringer

For komplekse modeller som dybe neurale netværk, der er mindre fortolkelige, bruges post-hoc forklaringer. Disse teknikker analyserer modellens adfærd, efter den har lavet en forudsigelse.

Model-agnostiske metoder

Disse metoder kan anvendes på enhver type model uden at kræve adgang til dens interne struktur.

Lokale fortolkelige model-agnostiske forklaringer (LIME)

LIME er en populær teknik, der forklarer forudsigelsen fra enhver klassifikator ved lokalt at approksimere den med en fortolkende model. For en given forudsigelse perturberer LIME input-dataene en smule og observerer ændringer i output for at afgøre, hvilke egenskaber der har størst indflydelse på beslutningen.

SHapley Additive exPlanations (SHAP)

SHAP-værdier er baseret på kooperativ spilteori og giver et samlet mål for egenskabers vigtighed. De kvantificerer hver egenskabs bidrag til forudsigelsen og tager højde for alle mulige kombinationer af egenskaber.

Globale vs. lokale forklaringer

• Globale forklaringer: Giver en overordnet forståelse af modellens adfærd på tværs af alle datapunkter.
• Lokale forklaringer: Fokuserer på en enkelt forudsigelse og forklarer, hvorfor modellen traf en bestemt beslutning for et individuelt tilfælde.

Forskning i AI-forklarbarhed

AI-forklarbarhed har fået betydelig opmærksomhed, efterhånden som AI-systemer bliver mere integreret i menneskelige beslutningsprocesser. Her er nogle nyere videnskabelige artikler, der behandler dette vigtige emne:

1. Explainable AI Improves Task Performance in Human-AI Collaboration (Udgivet: 2024-06-12)
   Forfattere: Julian Senoner, Simon Schallmoser, Bernhard Kratzwald, Stefan Feuerriegel, Torbjørn Netland
   Denne artikel undersøger effekten af forklarbar AI på forbedret opgavepræstation under menneske-AI-samarbejde. Forfatterne argumenterer for, at traditionel AI fungerer som en black-box, hvilket gør det svært for mennesker at validere AI-forudsigelser mod deres egen viden. Ved at introducere forklarbar AI, især gennem visuelle heatmaps, fandt studiet forbedret opgavepræstation. To eksperimenter blev gennemført med fabriksarbejdere og radiologer, og begge viste en markant reduktion i fejlrate med forklarbar AI. Denne forskning understreger potentialet i forklarbar AI til at forbedre nøjagtigheden af beslutningstagning i virkelige opgaver. Læs mere

2. “Weak AI” is Likely to Never Become “Strong AI”, So What is its Greatest Value for Us? (Udgivet: 2021-03-29)
   Forfatter: Bin Liu
   Denne artikel adresserer de løbende kontroverser omkring AI’s evner og fremtidige potentiale. Den skelner mellem “svag AI” og “stærk AI” og argumenterer for, at selvom stærk AI måske ikke er opnåelig, har svag AI betydelig værdi. Forfatteren undersøger kriterierne for at klassificere AI-forskning og diskuterer de samfundsmæssige konsekvenser af AI’s nuværende kapacitet. Dette arbejde giver et filosofisk perspektiv på AI’s rolle i samfundet. Læs mere

3. Understanding Mental Models of AI through Player-AI Interaction (Udgivet: 2021-03-30)
   Forfattere: Jennifer Villareale, Jichen Zhu
   Dette studie undersøger, hvordan individer udvikler mentale modeller af AI-systemer gennem interaktioner i AI-baserede spil. Forfatterne foreslår, at disse interaktioner giver værdifuld indsigt i de udviklende mentale modeller hos AI-brugere. Et casestudie præsenteres for at fremhæve fordelene ved at bruge spil til at studere forklarbar AI og antyder, at sådanne interaktioner kan forbedre brugerens forståelse af AI-systemer.

4. From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction (Udgivet: 2024-05-23)
   Forfattere: Muhammad Raees, Inge Meijerink, Ioanna Lykourentzou, Vassilis-Javed Khan, Konstantinos Papangelis
   Dette litteraturstudie undersøger overgangen fra forklarbar AI til interaktiv AI og understreger vigtigheden af menneskelig involvering i udviklingen og driften af AI-systemer. Artiklen gennemgår aktuelle tendenser og samfundsmæssige bekymringer omkring interaktionen mellem mennesker og AI og fremhæver behovet for AI-systemer, der både er forklarbare og interaktive. Denne omfattende gennemgang giver en køreplan for fremtidig forskning på området.