Recall inom maskininlärning

Vad är Recall inom maskininlärning?

Inom maskininlärning, särskilt vid klassificeringsproblem, är det avgörande att utvärdera en modells prestanda. Ett av de viktigaste måtten som används för att bedöma en modells förmåga att korrekt identifiera positiva instanser är recall. Detta mått är centralt i situationer där det får stora konsekvenser att missa en positiv instans (falska negativa). Denna omfattande guide förklarar vad recall är, hur det används inom maskininlärning, ger detaljerade exempel och användningsområden samt förklarar dess betydelse inom AI, AI-automation och chatbots.

Förståelse av Recall

Definition av Recall

Recall, även kallat sensitivitet eller sant positivt rate, är ett mått som kvantifierar andelen av de faktiska positiva instanserna som korrekt identifierats av maskininlärningsmodellen. Det mäter modellens fullständighet i att hitta alla relevanta instanser i datamängden.

Matematiskt definieras recall som:

Recall = Sanna Positiva / (Sanna Positiva + Falska Negativa)

Där:

• Sanna Positiva (TP): Antalet positiva instanser som modellen klassificerat korrekt.
• Falska Negativa (FN): Antalet positiva instanser som modellen felaktigt klassificerat som negativa.

Roll för Recall bland klassificeringsmått

Recall är ett av flera klassificeringsmått som används för att utvärdera modellers prestanda, särskilt vid binär klassificering. Det fokuserar på modellens förmåga att identifiera alla positiva instanser och är särskilt viktigt när det är kostsamt att missa ett positivt fall.

Recall är nära relaterat till andra klassificeringsmått såsom precision och noggrannhet. Att förstå hur recall samverkar med dessa mått är avgörande för en heltäckande utvärdering av modellens prestanda.

Förklarad förväxlingsmatris

För att helt förstå recall är det viktigt att känna till förväxlingsmatrisen, ett verktyg som ger en detaljerad översikt av en modells prestanda.

Struktur för förväxlingsmatrisen

Förväxlingsmatrisen är en tabell som sammanfattar en klassificeringsmodells prestanda genom att visa antalet sanna positiva, falska positiva, sanna negativa och falska negativa. Den ser ut så här:

• Sann Positiv (TP): Korrekt förutsagda positiva instanser.
• Falsk Positiv (FP): Felaktigt förutsagda positiva instanser (Typ I-fel).
• Falsk Negativ (FN): Felaktigt förutsagda negativa instanser (Typ II-fel).
• Sann Negativ (TN): Korrekt förutsagda negativa instanser.

Förväxlingsmatrisen gör det möjligt att inte bara se hur många förutsägelser som var korrekta, utan även vilken typ av fel som gjordes, såsom falska positiva och falska negativa.

Beräkning av Recall med förväxlingsmatrisen

Utifrån förväxlingsmatrisen beräknas recall som:

Recall = TP / (TP + FN)

Denna formel representerar andelen faktiska positiva som identifierades korrekt.

Recall vid binär klassificering

Binär klassificering innebär att instanser delas in i en av två klasser: positiv eller negativ. Recall är särskilt betydelsefullt i sådana problem, särskilt vid obalanserade datamängder.

Obalanserade datamängder

En obalanserad datamängd innebär att antalet instanser i respektive klass inte är ungefär lika stort. Till exempel, vid bedrägeridetektion är antalet bedrägliga transaktioner (positiv klass) mycket mindre än antalet legitima (negativ klass). I sådana fall kan modellens noggrannhet vara missvisande eftersom en modell kan uppnå hög noggrannhet genom att bara förutsäga majoritetsklassen.

Exempel: Bedrägeridetektion

Tänk dig en datamängd med 10 000 finansiella transaktioner:

• Faktiskt bedrägliga transaktioner (positiv klass): 100
• Faktiskt legitima transaktioner (negativ klass): 9 900

Anta att en maskininlärningsmodell förutspår:

• Förutsagda bedrägliga transaktioner:
  • Sanna Positiva (TP): 70 (korrekt förutspådda bedrägerier)
  • Falska Positiva (FP): 10 (legitima transaktioner felaktigt förutspådda som bedrägeri)
• Förutsagda legitima transaktioner:
  • Sanna Negativa (TN): 9 890 (korrekt förutspådda legitima)
  • Falska Negativa (FN): 30 (bedrägliga transaktioner förutspådda som legitima)

Beräkning av recall:

Recall = TP / (TP + FN)
Recall = 70 / (70 + 30)
Recall = 70 / 100
Recall = 0.7

Recall är 70 %, vilket betyder att modellen upptäckte 70 % av de bedrägliga transaktionerna. Vid bedrägeridetektion kan det vara kostsamt att missa bedrägerier (falska negativa), så hög recall är önskvärt.

Precision vs. Recall

Förstå precision

Precision mäter andelen av de positiva identifieringar som faktiskt är korrekta. Den svarar på frågan: “Av alla instanser som förutspåtts som positiva, hur många var verkligen positiva?”

Formel för precision:

Precision = TP / (TP + FP)

• Sanna Positiva (TP): Korrekt förutsagda positiva instanser.
• Falska Positiva (FP): Negativa instanser felaktigt förutsagda som positiva.

Avvägningen mellan precision och recall

Det finns ofta en avvägning mellan precision och recall:

• Hög recall, låg precision: Modellen identifierar de flesta positiva instanser (få falska negativa) men markerar också många negativa instanser som positiva (många falska positiva).
• Hög precision, låg recall: Modellen identifierar positiva instanser med få falska positiva, men missar många faktiska positiva (många falska negativa).

Balansen mellan precision och recall beror på applikationens specifika behov.

Exempel: E-postspamdetektion

Vid spamfiltrering av e-post:

• Hög recall: Fångar de flesta spam-mail, men kan felaktigt klassificera legitima mail som spam (falska positiva).
• Hög precision: Minimerar felklassificering av legitima mail, men kan släppa igenom spam till inkorgen (falska negativa).

Den optimala balansen beror på om det är viktigare att undvika spam i inkorgen eller att inga legitima mail missas.

Användningsområden där recall är kritiskt

1. Medicinsk diagnos

Vid upptäckt av sjukdomar kan det få allvarliga konsekvenser att missa ett positivt fall (patienten har faktiskt sjukdomen men identifieras inte).

• Mål: Maximera recall för att säkerställa att alla potentiella fall identifieras.
• Exempel: Cancer-screening där missad diagnos kan försena behandling.

2. Bedrägeridetektion

Identifiering av bedrägliga aktiviteter i finansiella transaktioner.

• Mål: Maximera recall för att upptäcka så många bedrägerier som möjligt.
• Hänsyn: Falska positiva (legitima transaktioner som flaggas som bedrägeri) är besvärliga men mindre kostsamma än att missa bedrägerier.

3. Säkerhetssystem

Upptäckt av intrång eller obehörig åtkomst.

• Mål: Säkerställ hög recall för att fånga alla säkerhetsöverträdelser.
• Tillvägagångssätt: Acceptera vissa falska larm för att undvika att missa verkliga hot.

4. Chatbots och AI-automation

För AI-drivna chatbots är det avgörande att förstå och svara rätt på användarens intention.

• Mål: Hög recall för att känna igen så många användarförfrågningar som möjligt.
• Tillämpning: Kundtjänst-chatbots som behöver förstå olika sätt användare kan be om hjälp.

5. Felupptäckt i tillverkning

Identifiering av defekter eller fel i produkter.

• Mål: Maximera recall för att förhindra att defekta varor når kunder.
• Påverkan: Hög recall säkerställer kvalitetskontroll och kundnöjdhet.

Beräkning av recall: Ett exempel

Anta att vi har en datamängd för ett binärt klassificeringsproblem, exempelvis för att förutspå kundbortfall:

• Totalt antal kunder: 1 000
• Faktiskt bortfall (positiv klass): 200 kunder
• Faktiskt icke-bortfall (negativ klass): 800 kunder

Efter att ha tillämpat en maskininlärningsmodell får vi följande förväxlingsmatris:

Beräkning av recall:

Recall = TP / (TP + FN)
Recall = 160 / (160 + 40)
Recall = 160 / 200
Recall = 0.8

Recall är 80 %, vilket innebär att modellen korrekt identifierade 80 % av de kunder som faktiskt skulle lämna.

Förbättra recall i maskininlärningsmodeller

För att förbättra recall, överväg följande strategier:

Databaserade metoder

• Samla in mer data: Särskilt för den positiva klassen för att hjälpa modellen att lära sig bättre.
• Omprovtagningstekniker: Använd metoder som SMOTE (Synthetic Minority Over-sampling Technique) för att balansera datamängden.
• Dataförstärkning: Skapa ytterligare syntetisk data för minoritetsklassen.

Algoritm-baserade metoder

• Justera klassificeringströskel: Sänk tröskeln för att klassificera fler instanser som positiva.
• Använd kostnadskänslig inlärning: Tilldela högre straff för falska negativa i förlustfunktionen.
• Ensemblemetoder: Kombinera flera modeller för att förbättra den totala prestandan.

Feature Engineering

• Skapa nya features: Som bättre fångar egenskaper hos den positiva klassen.
• Feature selection: Fokusera på de features som är mest relevanta för den positiva klassen.

Modellval och hyperparameteroptimering

• Välj lämpliga algoritmer: Vissa algoritmer hanterar obalanserad data bättre (t.ex. Random Forest, XGBoost).
• Finjustera hyperparametrar: Optimera parametrar specifikt för att förbättra recall.

Matematisk tolkning av recall

Att förstå recall ur ett matematiskt perspektiv ger djupare insikter.

Bayesiansk tolkning

Recall kan ses som en betingad sannolikhet:

Recall = P(Förutsagt Positiv | Faktiskt Positiv)

Detta representerar sannolikheten att modellen förutspår positivt givet att den faktiska klassen är positiv.

Relation till Typ II-fel

• Typ II-fel (β): Sannolikheten för ett falskt negativt.
• Recall: Lika med (1 – Typ II-felfrekvens).

Hög recall innebär låg andel Typ II-fel, dvs. färre falska negativa.

Koppling till ROC-kurvan

Recall är True Positive Rate (TPR), som används i ROC-kurvan (Receiver Operating Characteristic), vilken visar TPR mot False Positive Rate (FPR).

• ROC-kurva: Visualiserar balansen mellan recall (sensitivitet) och fallout (1 – specificitet).
• AUC (Area Under the Curve): Representerar modellens förmåga att särskilja mellan positiv och negativ klass.

Forskning om recall inom maskininlärning

Inom maskininlärning spelar begreppet ”recall” en viktig roll vid utvärdering av modellers effektivitet, särskilt i klassificeringsuppgifter. Här är en sammanfattning av relevanta forskningsartiklar som belyser olika aspekter av recall inom maskininlärning:

1. Show, Recall, and Tell: Image Captioning with Recall Mechanism (Publicerad: 2021-03-12)
   Denna artikel introducerar en ny recall-mekanism för att förbättra bildtextgenerering genom att efterlikna mänsklig kognition. Den föreslagna mekanismen består av tre komponenter: en recall-enhet för att hämta relevanta ord, en semantisk guide för att skapa kontextuell vägledning och återkallade ord-slots för att integrera dessa ord i bildtexter. Studien använder en ”soft switch” inspirerad av textsammanfattningstekniker för att balansera sannolikheterna för ordgenerering. Metoden förbättrar avsevärt BLEU-4, CIDEr och SPICE-poäng på MSCOCO-datasetet och överträffar andra ledande metoder. Resultaten visar potentialen hos recall-mekanismer för att förbättra beskrivningsnoggrannheten vid bildtextgenerering. Läs artikeln här.

2. Online Learning with Bounded Recall (Publicerad: 2024-05-31)
   Denna forskning undersöker konceptet bounded recall inom online learning, där en algoritms beslut baseras på ett begränsat minne av tidigare belöningar. Författarna visar att traditionella algoritmer med genomsnittligt, ingen-ånger-baserat tillvägagångssätt misslyckas under bounded recall, vilket resulterar i konstant ånger per runda. De föreslår en stationär bounded-recall-algoritm som uppnår en ånger per runda på $\Theta(1/\sqrt{M})$, och presenterar en skarp undre gräns. Studien framhåller att effektiva bounded-recall-algoritmer måste ta hänsyn till sekvensen av tidigare förluster, till skillnad från inställningar med perfekt recall. Läs artikeln här.

3. Recall, Robustness, and Lexicographic Evaluation (Publicerad: 2024-03-08)
   Denna artikel ifrågasätter användningen av recall vid rankningsutvärderingar och föreslår ett mer formellt utvärderingsramverk. Författarna introducerar begreppet ”recall-orientation” och kopplar det till rättvisa i rankningssystem. De föreslår en lexikografisk utvärderingsmetod, ”lexirecall”, som visar högre känslighet och stabilitet jämfört med traditionella recall-mått. Genom empirisk analys av flera rekommenderings- och återhämtningsuppgifter bekräftas lexirecalls förbättrade diskrimineringsförmåga, och metoden föreslås vara mer lämplig för nyanserade rankningsutvärderingar. Läs artikeln här.