Förklarbarhet

AI-förklarbarhet avser förmågan att förstå och tolka de beslut och förutsägelser som görs av artificiella intelligenssystem (AI). I takt med att AI och maskininlärningsalgoritmer blir alltmer komplexa, särskilt med framväxten av djupinlärning och neurala nätverk, fungerar de ofta som ”svarta lådor”. Det innebär att även ingenjörer och data scientists som utvecklar dessa modeller kanske inte helt förstår hur specifika indata leder till specifika utdata. AI-förklarbarhet syftar till att kasta ljus över dessa processer, göra AI-system mer transparenta och deras resultat mer begripliga för människor.

Varför är AI-förklarbarhet viktigt?

Tillit och transparens

För att AI-system ska accepteras brett och skapa förtroende, särskilt inom kritiska områden som sjukvård, finans och rättssystem, behöver intressenter förstå hur besluten fattas. När en maskininlärningsalgoritm rekommenderar en medicinsk behandling eller godkänner en låneansökan är det avgörande för användarna att känna till motiven bakom dessa beslut för att säkerställa rättvisa och bygga förtroende.

Regulatoriska krav

Många branscher omfattas av regelverk som kräver transparens i beslutsprocesser. Regleringar kan kräva att organisationer tillhandahåller förklaringar till automatiserade beslut, särskilt när de har stor påverkan på individer. Om man inte uppfyller dessa krav kan det leda till juridiska konsekvenser och förlorat konsumentförtroende.

Identifiering och minskning av partiskhet

AI-system som tränats på partisk data kan upprätthålla och till och med förstärka dessa partiskheter. Förklarbarhet gör det möjligt för utvecklare och intressenter att identifiera orättvisa eller partiska beslut i AI-modeller. Genom att förstå hur besluten fattas kan organisationer vidta åtgärder för att rätta till partiskheter och säkerställa att AI-systemen fungerar rättvist över olika demografiska grupper.

Förbättring av modellprestanda

Genom att förstå AI-modellernas inre funktioner kan data scientists optimera modellens prestanda. Genom att tolka vilka egenskaper som påverkar besluten kan de finjustera modellen, förbättra noggrannheten och säkerställa att den generaliserar väl till ny data.

Hur uppnås AI-förklarbarhet?

Att uppnå AI-förklarbarhet innebär en kombination av att utforma tolkningsbara modeller och tillämpa tekniker för att tolka komplexa modeller i efterhand.

Tolkningsbarhet vs. förklarbarhet

• Tolkningsbarhet avser i vilken utsträckning en människa kan förstå orsaken till ett beslut som fattats av ett AI-system.
• Förklarbarhet går ett steg längre och ger en uttrycklig beskrivning av de faktorer och resonemang som lett till ett beslut.

Även om båda begreppen är relaterade fokuserar tolkningsbarhet på modellens transparens, medan förklarbarhet fokuserar på att generera förklaringar till modellens utdata.

Tolkningsbara modeller

Tolkningsbara modeller är i sig själva begripliga. Exempel:

• Linjär regression: Modeller där sambandet mellan indata och utdata är linjärt, vilket gör det enkelt att tolka koefficienterna som påverkan av varje egenskap.
• Besluts-träd: Visuella representationer av beslut, där varje nod representerar en egenskap och grenarna utgör beslutsregler.
• Regelbaserade system: System som använder en uppsättning mänskligt begripliga regler för att fatta beslut.

Dessa modeller offrar viss prediktiv kraft för transparens, men är värdefulla när förklarbarhet är avgörande.

Förklaringar i efterhand

För komplexa modeller som djupa neurala nätverk, som är mindre tolkningsbara, används post-hoc-förklaringar. Dessa tekniker analyserar modellens beteende efter att den gjort en förutsägelse.

Modellagnostiska metoder

Dessa metoder kan användas på vilken typ av modell som helst utan att kräva tillgång till dess inre struktur.

Lokala tolkningsbara modellagnostiska förklaringar (LIME)

LIME är en populär teknik som förklarar en klassificerares förutsägelse genom att approximera den lokalt med en tolkningsbar modell. För en given förutsägelse förändrar LIME indata något och observerar förändringar i utdata för att avgöra vilka egenskaper som påverkar beslutet mest.

SHapley Additive exPlanations (SHAP)

SHAP-värden bygger på kooperativ spelteori och ger ett enhetligt mått på egenskapernas betydelse. De kvantifierar varje egenskaps bidrag till förutsägelsen genom att ta hänsyn till alla möjliga kombinationer av egenskaper.

Globala vs. lokala förklaringar

• Globala förklaringar: Ger en övergripande förståelse för modellens beteende över alla datapunkter.
• Lokala förklaringar: Fokuserar på en enskild förutsägelse, och förklarar varför modellen fattade ett specifikt beslut för ett individuellt fall.

Forskning om AI-förklarbarhet

AI-förklarbarhet har fått stort intresse i takt med att AI-system integreras allt mer i mänskliga beslutsprocesser. Här är några aktuella vetenskapliga artiklar som fördjupar sig i detta viktiga ämne:

1. Explainable AI Improves Task Performance in Human-AI Collaboration (Publicerad: 2024-06-12)
   Författare: Julian Senoner, Simon Schallmoser, Bernhard Kratzwald, Stefan Feuerriegel, Torbjørn Netland
   Denna artikel undersöker hur förklarbar AI förbättrar arbetsresultat under samarbete mellan människa och AI. Författarna menar att traditionell AI fungerar som en svart låda, vilket gör det svårt för människor att validera AI-förutsägelser mot sin egen kunskap. Genom att införa förklarbar AI, särskilt via visuella värmekartor, fann studien att arbetsresultatet förbättrades. Två experiment genomfördes med fabriksarbetare och radiologer, som visade en betydande minskning av fel när förklarbar AI användes. Forskningen understryker potentialen för förklarbar AI att förbättra beslutsnoggrannheten i verkliga arbetsuppgifter. Läs mer

2. “Weak AI” is Likely to Never Become “Strong AI”, So What is its Greatest Value for Us? (Publicerad: 2021-03-29)
   Författare: Bin Liu
   Denna artikel tar upp de pågående kontroverserna kring AI:s kapacitet och framtida potential. Den skiljer mellan ”svag AI” och ”stark AI”, och argumenterar för att medan stark AI kanske inte är möjlig, har svag AI stort värde. Författaren går igenom kriterier för att klassificera AI-forskning och diskuterar de samhälleliga konsekvenserna av AI:s nuvarande förmågor. Arbetet ger ett filosofiskt perspektiv på AI:s roll i samhället. Läs mer

3. Understanding Mental Models of AI through Player-AI Interaction (Publicerad: 2021-03-30)
   Författare: Jennifer Villareale, Jichen Zhu
   Denna studie undersöker hur individer utvecklar mentala modeller av AI-system genom interaktion i AI-baserade spel. Författarna föreslår att dessa interaktioner ger värdefulla insikter om användares föränderliga mentala modeller av AI. En fallstudie presenteras för att belysa fördelarna med att använda spel för att studera förklarbar AI, och antyder att sådana interaktioner kan öka användarens förståelse för AI-system.

4. From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction (Publicerad: 2024-05-23)
   Författare: Muhammad Raees, Inge Meijerink, Ioanna Lykourentzou, Vassilis-Javed Khan, Konstantinos Papangelis
   Denna litteraturöversikt granskar övergången från förklarbar AI till interaktiv AI, och betonar vikten av mänsklig delaktighet i utveckling och drift av AI-system. Artikeln går igenom aktuella trender och samhälleliga utmaningar kring människa-AI-interaktion, och lyfter behovet av AI-system som är både förklarbara och interaktiva. Denna omfattande översikt ger en färdplan för framtida forskning inom området.