Forklarbarhet

AI-forklarbarhet refererer til evnen til å forstå og tolke beslutningene og prediksjonene gjort av kunstig intelligens (AI)-systemer. Etter hvert som AI og maskinlæringsalgoritmer blir stadig mer komplekse, spesielt med fremveksten av dyp læring og nevrale nettverk, opererer de ofte som “svarte bokser.” Dette betyr at selv ingeniørene og dataforskerne som utvikler disse modellene kanskje ikke fullt ut forstår hvordan spesifikke input fører til spesifikke output. AI-forklarbarhet søker å kaste lys over disse prosessene, gjøre AI-systemer mer gjennomsiktige og deres resultater mer forståelige for mennesker.

Hvorfor er AI-forklarbarhet viktig?

Tillit og gjennomsiktighet

For at AI-systemer skal bli bredt akseptert og pålitelige, spesielt i kritiske domener som helsevesen, finans og rettssystemer, må interessenter forstå hvordan beslutninger tas. Når en maskinlæringsalgoritme anbefaler en medisinsk behandling eller godkjenner en lånesøknad, er det avgjørende for brukere å vite begrunnelsen bak disse beslutningene for å sikre rettferdighet og bygge tillit.

Regulatoriske krav

Mange bransjer er underlagt regulatoriske rammeverk som krever åpenhet i beslutningsprosesser. Regelverk kan pålegge organisasjoner å gi forklaringer på automatiserte avgjørelser, spesielt når de har betydelig innvirkning på enkeltpersoner. Manglende overholdelse kan føre til juridiske konsekvenser og tap av forbrukertillit.

Identifisering og reduksjon av skjevhet

AI-systemer trent på skjeve data kan videreføre og til og med forsterke slike skjevheter. Forklarbarhet gjør det mulig for utviklere og interessenter å identifisere urettferdige eller skjeve beslutninger i AI-modeller. Ved å forstå hvordan beslutninger tas, kan organisasjoner ta grep for å rette opp skjevheter og sikre at AI-systemene opererer rettferdig på tvers av ulike demografier.

Forbedring av modellens ytelse

Å forstå de indre mekanismene i AI-modeller gjør det mulig for dataforskere å optimalisere modellens ytelse. Ved å tolke hvilke egenskaper som påvirker avgjørelsene, kan de finjustere modellen, forbedre nøyaktigheten og sikre at den generaliserer godt til nye data.

Hvordan oppnås AI-forklarbarhet?

Å oppnå AI-forklarbarhet innebærer en kombinasjon av å designe tolkbare modeller og bruke teknikker for å tolke komplekse modeller i etterkant.

Tolkbarhet vs. forklarbarhet

• Tolkbarhet refererer til i hvilken grad et menneske kan forstå årsaken til en beslutning tatt av et AI-system.
• Forklarbarhet går et skritt videre ved å gi en eksplisitt beskrivelse av faktorene og begrunnelsen som førte til en beslutning.

Selv om begge begrepene er beslektet, fokuserer tolkbarhet på modellens åpenhet, mens forklarbarhet fokuserer på å generere forklaringer for modellens output.

Tolkbare modeller

Tolkbare modeller er iboende forståelige. Eksempler inkluderer:

• Lineær regresjon: Modeller hvor forholdet mellom input-variabler og output er lineært, noe som gjør det enkelt å tolke koeffisientene som påvirkningen til hver egenskap.
• Beslutningstrær: Visuelle representasjoner av beslutninger, hvor hver node representerer en egenskap og grenene representerer beslutningsregler.
• Regelbaserte systemer: Systemer som bruker et sett menneskeforståelige regler for å ta avgjørelser.

Disse modellene ofrer noe prediktiv kraft for åpenhet, men er verdifulle når forklarbarhet er avgjørende.

Post-hoc forklaringer

For komplekse modeller som dype nevrale nettverk, som er mindre tolkbare, brukes post-hoc forklaringer. Disse teknikkene analyserer modellens oppførsel etter at den har gjort en prediksjon.

Modell-agnostiske metoder

Disse metodene kan brukes på alle typer modeller uten behov for tilgang til deres interne struktur.

Lokale tolkbare modell-agnostiske forklaringer (LIME)

LIME er en populær teknikk som forklarer prediksjonen til enhver klassifikator ved å tilnærme den lokalt med en tolkbar modell. For en gitt prediksjon forstyrrer LIME input-dataene litt og observerer endringer i output for å avgjøre hvilke egenskaper som påvirker avgjørelsen mest.

SHapley Additive exPlanations (SHAP)

SHAP-verdier er basert på kooperativ spillteori og gir et samlet mål på egenskapenes betydning. De kvantifiserer bidraget til hver egenskap til prediksjonen, med hensyn til alle mulige kombinasjoner av egenskaper.

Globale vs. lokale forklaringer

• Globale forklaringer: Gir en overordnet forståelse av modellens oppførsel på tvers av alle datapunkter.
• Lokale forklaringer: Fokuserer på én enkelt prediksjon og forklarer hvorfor modellen tok en bestemt beslutning for et individuelt tilfelle.

Forskning på AI-forklarbarhet

AI-forklarbarhet har fått betydelig oppmerksomhet etter hvert som AI-systemer blir mer integrert i menneskelige beslutningsprosesser. Her er noen nyere vitenskapelige artikler som utforsker dette viktige temaet:

1. Explainable AI Improves Task Performance in Human-AI Collaboration (Publisert: 2024-06-12)
   Forfattere: Julian Senoner, Simon Schallmoser, Bernhard Kratzwald, Stefan Feuerriegel, Torbjørn Netland
   Denne artikkelen utforsker effekten av forklarbar AI på å forbedre oppgaveytelsen under menneske-AI-samarbeid. Forfatterne argumenterer for at tradisjonell AI fungerer som en svart boks, noe som gjør det vanskelig for mennesker å validere AI-prediksjoner mot egen kunnskap. Ved å innføre forklarbar AI, spesielt gjennom visuelle varmekart, fant studien forbedret oppgaveytelse. To eksperimenter ble utført med fabrikkarbeidere og radiologer, og viste en betydelig reduksjon i feilrater ved bruk av forklarbar AI. Denne forskningen understreker potensialet til forklarbar AI for å forbedre beslutningsnøyaktighet i reelle oppgaver. Les mer

2. “Weak AI” is Likely to Never Become “Strong AI”, So What is its Greatest Value for Us? (Publisert: 2021-03-29)
   Forfatter: Bin Liu
   Denne artikkelen tar for seg de pågående kontroversene rundt AI sine evner og fremtidige potensial. Den skiller mellom “svak AI” og “sterk AI” og hevder at selv om sterk AI kanskje ikke er oppnåelig, har svak AI betydelig verdi. Forfatteren går inn på kriteriene for å klassifisere AI-forskning og diskuterer samfunnsmessige implikasjoner av AI sine nåværende evner. Dette arbeidet gir et filosofisk perspektiv på AI sin rolle i samfunnet. Les mer

3. Understanding Mental Models of AI through Player-AI Interaction (Publisert: 2021-03-30)
   Forfattere: Jennifer Villareale, Jichen Zhu
   Denne studien undersøker hvordan enkeltpersoner utvikler mentale modeller av AI-systemer gjennom interaksjon i AI-baserte spill. Forfatterne foreslår at slike interaksjoner gir verdifull innsikt i utviklingen av AI-brukeres mentale modeller. En casestudie presenteres for å fremheve fordelene ved å bruke spill for å studere forklarbar AI, og antyder at slike interaksjoner kan forbedre brukerforståelsen av AI-systemer.

4. From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction (Publisert: 2024-05-23)
   Forfattere: Muhammad Raees, Inge Meijerink, Ioanna Lykourentzou, Vassilis-Javed Khan, Konstantinos Papangelis
   Denne litteraturgjennomgangen undersøker overgangen fra forklarbar AI til interaktiv AI, og fremhever viktigheten av menneskelig involvering i utvikling og drift av AI-systemer. Artikkelen vurderer dagens trender og samfunnsmessige bekymringer rundt menneske-AI-interaksjon, og understreker behovet for AI-systemer som både er forklarbare og interaktive. Denne omfattende gjennomgangen gir en veikart for fremtidig forskning på feltet.