Recall i maskinlæring

Hvad er Recall i maskinlæring?

Inden for maskinlæring, især i klassifikationsproblemer, er evaluering af en models præstation altafgørende. En af de vigtigste måleenheder til at vurdere en models evne til korrekt at identificere positive tilfælde er recall. Denne metrik er central i situationer, hvor det at overse et positivt tilfælde (false negatives) kan have store konsekvenser. Denne omfattende guide vil forklare, hvad recall er, hvordan det bruges i maskinlæring, give detaljerede eksempler og anvendelser, samt forklare dens betydning i AI, AI-automatisering og chatbots.

Forståelse af Recall

Definition af Recall

Recall, også kendt som sensitivitet eller true positive rate, er en metrik, der kvantificerer andelen af faktiske positive tilfælde, som maskinlæringsmodellen korrekt identificerer. Den måler en models fuldstændighed i at hente alle relevante tilfælde fra datasættet.

Matematisk defineres recall som:

Recall = True Positives / (True Positives + False Negatives)

Hvor:

• True Positives (TP): Antallet af positive tilfælde korrekt klassificeret af modellen.
• False Negatives (FN): Antallet af positive tilfælde, som modellen fejlagtigt klassificerer som negative.

Recallens rolle i klassifikationsmetrikker

Recall er en af flere klassifikationsmetrikker, der bruges til at evaluere modeller, især i binære klassifikationsproblemer. Den fokuserer på modellens evne til at identificere alle positive tilfælde og er særlig vigtig, når det er dyrt at overse positive.

Recall er nært forbundet med andre klassifikationsmetrikker som præcision og nøjagtighed. At forstå, hvordan recall interagerer med disse metrikker, er afgørende for en grundig evaluering af modelpræstationen.

Forklaring af Confusion Matrix

For fuldt ud at værdsætte recall, er det vigtigt at forstå confusion matrix, et værktøj der giver et detaljeret overblik over en models præstation.

Struktur af Confusion Matrix

Confusion matrix er en tabel, der opsummerer en klassifikationsmodels præstation ved at vise antallet af true positives, false positives, true negatives og false negatives. Den ser sådan ud:

• True Positive (TP): Korrekt forudsagte positive tilfælde.
• False Positive (FP): Forkert forudsagte positive tilfælde (Type I-fejl).
• False Negative (FN): Forkert forudsagte negative tilfælde (Type II-fejl).
• True Negative (TN): Korrekt forudsagte negative tilfælde.

Confusion matrix gør det muligt at se ikke bare hvor mange forudsigelser, der var korrekte, men også hvilke typer fejl, der blev begået, såsom false positives og false negatives.

Beregning af Recall ved hjælp af Confusion Matrix

Ud fra confusion matrix beregnes recall som:

Recall = TP / (TP + FN)

Denne formel repræsenterer andelen af faktiske positive, der blev korrekt identificeret.

Recall i binær klassifikation

Binær klassifikation indebærer at kategorisere tilfælde i én af to klasser: positiv eller negativ. Recall er især vigtig i sådanne problemer, særligt ved ubalancerede datasæt.

Ubalancerede datasæt

Et ubalanceret datasæt er et, hvor antallet af tilfælde i hver klasse ikke er omtrent lige stort. For eksempel, i bedrageridetektion er antallet af bedrageriske transaktioner (positiv klasse) langt mindre end legitime transaktioner (negativ klasse). I sådanne tilfælde kan modelnøjagtighed være vildledende, fordi en model kan opnå høj nøjagtighed ved blot at forudsige majoritetsklassen.

Eksempel: Bedrageridetektion

Overvej et datasæt med 10.000 finansielle transaktioner:

• Faktiske bedrageriske transaktioner (positiv klasse): 100
• Faktiske legitime transaktioner (negativ klasse): 9.900

Antag at en maskinlæringsmodel forudsiger:

• Forudsagte bedrageriske transaktioner:
  • True Positives (TP): 70 (korrekt forudsagte bedragerier)
  • False Positives (FP): 10 (legitime transaktioner fejlagtigt forudsagt som bedrageri)
• Forudsagte legitime transaktioner:
  • True Negatives (TN): 9.890 (korrekt forudsagte legitime)
  • False Negatives (FN): 30 (bedragerier forudsagt som legitime)

Beregning af recall:

Recall = TP / (TP + FN)
Recall = 70 / (70 + 30)
Recall = 70 / 100
Recall = 0,7

Recall er 70%, hvilket betyder, at modellen fandt 70% af de bedrageriske transaktioner. Inden for bedrageridetektion kan det være dyrt at overse bedragerier (false negatives), så høj recall er ønskværdig.

Præcision vs. Recall

Forståelse af præcision

Præcision måler andelen af positive forudsigelser, der faktisk er korrekte. Den svarer på spørgsmålet: “Ud af alle de tilfælde, der blev forudsagt som positive, hvor mange var virkelig positive?”

Formel for præcision:

Præcision = TP / (TP + FP)

• True Positives (TP): Korrekt forudsagte positive tilfælde.
• False Positives (FP): Negativt tilfælde fejlagtigt forudsagt som positivt.

Afvejningen mellem præcision og recall

Der er ofte en afvejning mellem præcision og recall:

• Høj recall, lav præcision: Modellen identificerer de fleste positive tilfælde (få false negatives), men fejlagtigt mærker mange negative tilfælde som positive (mange false positives).
• Høj præcision, lav recall: Modellen identificerer positive tilfælde korrekt med få false positives, men overser mange faktiske positive tilfælde (mange false negatives).

Balanceringen af præcision og recall afhænger af applikationens specifikke behov.

Eksempel: E-mails spam-filtrering

I e-mail spam-filtrering:

• Høj recall: Fanger de fleste spam-mails, men kan fejlagtigt klassificere legitime e-mails som spam (false positives).
• Høj præcision: Minimerer fejlagtig klassificering af legitime e-mails, men kan lade spam slippe igennem (false negatives).

Den optimale balance afhænger af, om det er vigtigst at undgå spam i indbakken eller at sikre, at ingen legitime e-mails overses.

Anvendelsestilfælde hvor recall er kritisk

1. Medicinsk diagnose

Ved påvisning af sygdomme kan det at overse et positivt tilfælde (patienten har faktisk sygdommen, men det opdages ikke) have alvorlige konsekvenser.

• Mål: Maksimere recall for at sikre, at alle potentielle tilfælde identificeres.
• Eksempel: Kræftscreening, hvor en overset diagnose kan forsinke behandling.

2. Bedrageridetektion

Identificering af bedrageriske aktiviteter i finansielle transaktioner.

• Mål: Maksimere recall for at finde så mange bedragerier som muligt.
• Overvejelse: False positives (legitime transaktioner markeret som bedrageri) er besværlige, men mindre omkostningstunge end at overse bedrageri.

3. Sikkerhedssystemer

Detektering af indtrængen eller uautoriseret adgang.

• Mål: Sikre høj recall for at opfange alle sikkerhedsbrud.
• Fremgangsmåde: Acceptere nogle falske alarmer for at undgå at overse reelle trusler.

4. Chatbots og AI-automatisering

I AI-drevne chatbots er det afgørende at forstå og svare korrekt på brugerintentioner.

• Mål: Høj recall for at genkende så mange brugerhenvendelser som muligt.
• Anvendelse: Kundeservice-chatbots, der skal forstå de mange måder, brugere kan bede om hjælp på.

5. Fejlregistrering i produktion

Identifikation af defekter eller fejl i produkter.

• Mål: Maksimere recall for at forhindre defekte varer i at nå kunderne.
• Indvirkning: Høj recall sikrer kvalitetskontrol og kundetilfredshed.

Beregning af recall: Et eksempel

Antag vi har et datasæt til et binært klassifikationsproblem, f.eks. forudsigelse af kundeafgang (churn):

• Totalt antal kunder: 1.000
• Faktisk afgang (positiv klasse): 200 kunder
• Faktisk ingen afgang (negativ klasse): 800 kunder

Efter anvendelse af en maskinlæringsmodel får vi følgende confusion matrix:

Beregning af recall:

Recall = TP / (TP + FN)
Recall = 160 / (160 + 40)
Recall = 160 / 200
Recall = 0,8

Recall er 80%, hvilket betyder, at modellen korrekt identificerede 80% af de kunder, der ville forlade.

Forbedring af recall i maskinlæringsmodeller

For at forbedre recall kan du overveje følgende strategier:

Databaserede metoder

• Indsaml flere data: Især for den positive klasse, så modellen kan lære bedre.
• Resampling-teknikker: Brug metoder som SMOTE (Synthetic Minority Over-sampling Technique) til at balancere datasættet.
• Dataforøgelse: Skab ekstra syntetiske data for minoritetsklassen.

Algoritmebaserede metoder

• Juster klassifikationstærskel: Sænk tærsklen for at klassificere flere tilfælde som positive.
• Brug omkostningsfølsom læring: Tildel højere straf for false negatives i loss-funktionen.
• Ensemble-metoder: Kombinér flere modeller for at forbedre den samlede præstation.

Feature engineering

• Skab nye features: Der bedre opfanger karakteristika ved den positive klasse.
• Feature selection: Fokuser på de features, der er mest relevante for den positive klasse.

Modelvalg og hyperparametertuning

• Vælg passende algoritmer: Nogle algoritmer håndterer ubalancerede data bedre (fx Random Forest, XGBoost).
• Tune hyperparametre: Optimer parametre specifikt med henblik på at forbedre recall.

Matematisk fortolkning af recall

At forstå recall fra et matematisk perspektiv giver dybere indsigt.

Bayesiansk fortolkning

Recall kan ses som en betinget sandsynlighed:

Recall = P(Forudsagt positiv | Faktisk positiv)

Dette repræsenterer sandsynligheden for, at modellen forudsiger positivt, givet at den faktiske klasse er positiv.

Relation til Type II-fejl

• Type II-fejlraten (β): Sandsynligheden for en false negative.
• Recall: Lige med (1 – Type II-fejlraten).

Høj recall indebærer lav Type II-fejlrate, altså færre false negatives.

Forbindelse til ROC-kurven

Recall er True Positive Rate (TPR), som bruges i Receiver Operating Characteristic (ROC)-kurven, der plotter TPR mod False Positive Rate (FPR).

• ROC-kurve: Visualiserer afvejningen mellem recall (sensitivitet) og fallout (1 – specificitet).
• AUC (Area Under the Curve): Repræsenterer modellens evne til at skelne mellem positive og negative klasser.

Forskning i recall i maskinlæring

Inden for maskinlæring spiller begrebet “recall” en central rolle i evalueringen af modellernes effektivitet, især i klassifikationsopgaver. Her er et sammendrag af relevante forskningsartikler, der undersøger forskellige aspekter af recall i maskinlæring:

1. Show, Recall, and Tell: Image Captioning with Recall Mechanism (Udgivet: 2021-03-12)
   Denne artikel introducerer en ny recall-mekanisme, der skal forbedre billedbeskrivelser ved at efterligne menneskelig kognition. Mekanismen består af tre komponenter: en recall-enhed til at hente relevante ord, en semantisk guide til at generere kontekstuel vejledning og recall-ord-slots til at integrere disse ord i billedtekster. Studiet anvender en “soft switch”, inspireret af tekstopsummering, for at balancere ordgenereringens sandsynligheder. Tilgangen forbedrer markant BLEU-4, CIDEr og SPICE-scorer på MSCOCO-datasættet og overgår andre førende metoder. Resultaterne understreger potentialet i recall-mekanismer til at forbedre beskrivende nøjagtighed i billedbeskrivelser. Læs artiklen her.

2. Online Learning with Bounded Recall (Udgivet: 2024-05-31)
   Denne forskning undersøger begrebet begrænset recall i online læring, hvor en algoritmes beslutninger baseres på begrænset hukommelse om tidligere belønninger. Forfatterne viser, at traditionelle gennemsnitsbaserede no-regret-algoritmer fejler under begrænset recall, hvilket resulterer i konstant regret per runde. De foreslår en stationær algoritme med begrænset recall, der opnår regret per runde på $\Theta(1/\sqrt{M})$ og præsenterer en skarp nedre grænse. Studiet fremhæver, at effektive bounded-recall-algoritmer skal tage højde for rækkefølgen af tidligere tab, i modsætning til scenarier med perfekt recall. Læs artiklen her.

3. Recall, Robustness, and Lexicographic Evaluation (Udgivet: 2024-03-08)
   Denne artikel kritiserer brugen af recall i rangeringsevalueringer og argumenterer for en mere formel evalueringsramme. Forfatterne introducerer begrebet “recall-orientering” og kobler det til fairness i rangordningssystemer. De foreslår en leksikografisk evalueringsmetode, “lexirecall”, der demonstrerer højere følsomhed og stabilitet sammenlignet med traditionelle recall-metrikker. Gennem empirisk analyse på tværs af flere anbefalings- og genfindingsopgaver validerer studiet lexirecalls forbedrede diskriminationsevne og foreslår dens egnethed til mere nuancerede rangeringsevalueringer. Læs artiklen her.