Recall v strojovém učení

Co je recall ve strojovém učení?

Ve světě strojového učení, zejména v klasifikačních úlohách, je hodnocení výkonnosti modelu zásadní. Jednou z klíčových metrik pro posouzení schopnosti modelu správně identifikovat pozitivní případy je recall. Tato metrika je klíčová v situacích, kdy opomenutí pozitivního případu (falešně negativní) má vážné důsledky. Tento komplexní průvodce vysvětlí, co je recall, jak se ve strojovém učení používá, nabídne podrobné příklady a případy použití a objasní jeho význam v AI, automatizaci a chatbotech.

Porozumění recall

Definice recall

Recall, známý také jako senzitivita nebo míra správně pozitivních, je metrika, která udává podíl skutečně pozitivních případů, které byly modelem strojového učení správně rozpoznány. Měří úplnost modelu při vyhledávání všech relevantních případů z datové množiny.

Matematicky je recall definován jako:

Recall = Počet správně pozitivních / (Počet správně pozitivních + Počet falešně negativních)

Kde:

• Počet správně pozitivních (TP): Počet pozitivních případů, které model správně klasifikoval.
• Počet falešně negativních (FN): Počet pozitivních případů, které model nesprávně označil jako negativní.

Role recall v klasifikačních metrikách

Recall je jednou z několika metrik používaných k hodnocení výkonnosti modelů, zejména v binárních klasifikacích. Zaměřuje se na schopnost modelu odhalit všechny pozitivní případy a je zvlášť důležitý, když je cena opomenutí pozitivního vysoká.

Recall úzce souvisí s dalšími klasifikačními metrikami, jako je precision a přesnost (accuracy). Porozumění vzájemnému vztahu těchto metrik je zásadní pro komplexní hodnocení výkonnosti modelu.

Vysvětlení matice záměn

Abychom plně pochopili význam recall, je důležité rozumět matici záměn (confusion matrix), která poskytuje detailní rozklad výkonnosti modelu.

Struktura matice záměn

Matice záměn je tabulka, která shrnuje výsledky klasifikačního modelu zobrazením počtu správně i nesprávně klasifikovaných případů. Vypadá takto:

• Správně pozitivní (TP): Správně predikované pozitivní případy.
• Falešně pozitivní (FP): Nesprávně predikované pozitivní případy (chyba I. druhu).
• Falešně negativní (FN): Nesprávně predikované negativní případy (chyba II. druhu).
• Správně negativní (TN): Správně predikované negativní případy.

Matice záměn umožňuje nejen zjistit, kolik predikcí bylo správných, ale také jaké typy chyb se vyskytly, například falešně pozitivní a falešně negativní případy.

Výpočet recall z matice záměn

Z matice záměn počítáme recall takto:

Recall = TP / (TP + FN)

Tento vzorec ukazuje podíl skutečně pozitivních případů, které byly správně rozpoznány.

Recall v binární klasifikaci

Binární klasifikace zahrnuje rozdělení případů do jedné ze dvou tříd: pozitivní nebo negativní. Recall je v těchto úlohách zvlášť významný, zejména při práci s nevyváženými daty.

Nevyvážené datové množiny

Nevyvážená data jsou taková, kde počet případů v jednotlivých třídách není přibližně stejný. Například při detekci podvodů je počet podvodných transakcí (pozitivní třída) mnohem menší než počet legitimních (negativní třída). V těchto případech může být přesnost modelu (accuracy) zavádějící, protože model může dosahovat vysoké přesnosti pouhým predikováním většinové třídy.

Příklad: Detekce podvodů

Představme si datovou sadu s 10 000 finančními transakcemi:

• Skutečně podvodné transakce (pozitivní třída): 100
• Skutečně legitimní transakce (negativní třída): 9 900

Model strojového učení predikuje:

• Predikované podvodné transakce:
  • Správně pozitivní (TP): 70 (správně odhalené podvody)
  • Falešně pozitivní (FP): 10 (legitimní transakce označené jako podvodné)
• Predikované legitimní transakce:
  • Správně negativní (TN): 9 890 (správně označené legitimní)
  • Falešně negativní (FN): 30 (podvodné transakce označené jako legitimní)

Výpočet recall:

Recall = TP / (TP + FN)
Recall = 70 / (70 + 30)
Recall = 70 / 100
Recall = 0.7

Recall je 70 %, což znamená, že model detekoval 70 % podvodných transakcí. U detekce podvodů může být opomenutí podvodných transakcí (falešně negativní) nákladné, proto je žádoucí vysoký recall.

Precision vs. Recall

Co je precision

Precision měří podíl případů označených jako pozitivní, které jsou skutečně pozitivní. Odpovídá na otázku: „Z kolika případů označených jako pozitivní jsou skutečně pozitivní?“

Vzorec pro precision:

Precision = TP / (TP + FP)

• Správně pozitivní (TP): Správně predikované pozitivní případy.
• Falešně pozitivní (FP): Negativní případy označené jako pozitivní.

Vztah a kompromis mezi precision a recall

Mezi precision a recall často existuje kompromis:

• Vysoký recall, nízká precision: Model odhalí většinu pozitivních případů (málo falešně negativních), ale také často chybně označí negativní případy jako pozitivní (hodně falešně pozitivních).
• Vysoká precision, nízký recall: Model správně rozpozná pozitivní případy s minimem falešně pozitivních, ale opomene mnoho skutečně pozitivních případů (hodně falešně negativních).

Vyvážení precision a recall závisí na konkrétních potřebách aplikace.

Příklad: Detekce spamu v e-mailech

U filtrování spamu:

• Vysoký recall: Zachytí většinu spamů, ale může chybně označit legitimní e-maily jako spam (falešně pozitivní).
• Vysoká precision: Minimalizuje chybné označení legitimních e-mailů, ale může propustit více spamů do schránky (falešně negativní).

Optimální poměr závisí na tom, zda je důležitější zabránit spamu v doručené poště, nebo nezmeškat žádný legitimní e-mail.

Případy použití, kde je recall kritický

1. Lékařská diagnostika

Při detekci nemocí může opomenutí pozitivního případu (pacient skutečně nemocný, ale není rozpoznán) mít vážné následky.

• Cíl: Maximalizovat recall, aby byly odhaleny všechny potenciální případy.
• Příklad: Screening rakoviny, kde opomenutá diagnóza může oddálit léčbu.

2. Detekce podvodů

Identifikace podvodných aktivit ve finančních transakcích.

• Cíl: Maximalizovat recall, aby bylo odhaleno co nejvíce podvodných transakcí.
• Zvážení: Falešně pozitivní (legitimní transakce označené jako podvodné) jsou nepříjemné, ale méně nákladné než opomenuté podvody.

3. Bezpečnostní systémy

Detekce průniků nebo neoprávněného přístupu.

• Cíl: Zajistit vysoký recall pro odhalení všech bezpečnostních incidentů.
• Přístup: Přijmout některé plané poplachy, aby se zabránilo opomenutí skutečných hrozeb.

4. Chatboti a AI automatizace

U AI chatbotů je správné pochopení a reakce na uživatelské požadavky zásadní.

• Cíl: Vysoký recall pro rozpoznání co největšího počtu uživatelských požadavků.
• Aplikace: Chatboti zákaznické podpory, kteří musí rozumět různým způsobům, jak uživatelé žádají o pomoc.

5. Detekce vad ve výrobě

Identifikace závad nebo poruch u výrobků.

• Cíl: Maximalizovat recall, aby vadné kusy neopustily výrobní linku.
• Dopad: Vysoký recall zajišťuje kontrolu kvality a spokojenost zákazníků.

Výpočet recall: příklad

Předpokládejme datovou sadu pro binární klasifikaci, například predikci odchodů zákazníků:

• Celkem zákazníků: 1 000
• Skutečný odchod (pozitivní třída): 200 zákazníků
• Skutečný neodchod (negativní třída): 800 zákazníků

Po aplikaci modelu získáme tuto matici záměn:

Výpočet recall:

Recall = TP / (TP + FN)
Recall = 160 / (160 + 40)
Recall = 160 / 200
Recall = 0.8

Recall je 80 %, což znamená, že model správně identifikoval 80 % zákazníků, kteří odejdou.

Zlepšování recall u modelů strojového učení

Pro zvýšení recall zvažte tyto strategie:

Postupy na úrovni dat

• Získání více dat: Zejména pro pozitivní třídu, aby se model lépe učil.
• Resampling: Použití metod jako SMOTE (Synthetic Minority Over-sampling Technique) pro vyvážení dat.
• Augmentace dat: Vytváření dalších syntetických dat pro minoritní třídu.

Postupy na úrovni algoritmu

• Úprava prahu klasifikace: Snížení prahu pro zařazení do pozitivní třídy.
• Učení citlivé na náklady: Přiřazení vyšší penalizace falešně negativním v loss funkci.
• Ensemble metody: Kombinace více modelů pro zlepšení celkového výkonu.

Feature engineering

• Vytváření nových atributů: Které lépe popisují pozitivní třídu.
• Výběr atributů: Zaměření na ty, které jsou pro pozitivní třídu nejrelevantnější.

Výběr modelu a ladění hyperparametrů

• Výběr vhodných algoritmů: Některé algoritmy lépe zvládají nevyvážená data (např. Random Forest, XGBoost).
• Ladění hyperparametrů: Optimalizace parametrů přímo se zaměřením na zlepšení recall.

Matematická interpretace recall

Pochopení recall z matematického hlediska poskytuje hlubší vhled.

Bayesovská interpretace

Recall lze chápat jako podmíněnou pravděpodobnost:

Recall = P(Predikováno pozitivní | Skutečně pozitivní)

To znamená pravděpodobnost, že model predikuje pozitivní, pokud je skutečná třída pozitivní.

Vztah k chybě II. druhu

• Míra chyby II. druhu (β): Pravděpodobnost falešně negativního.
• Recall: Rovná se (1 – míra chyby II. druhu).

Vysoký recall znamená nízkou míru chyby II. druhu, tedy minimum falešně negativních.

Vztah ke křivce ROC

Recall je míra správně pozitivních (TPR) používaná v ROC křivce (Receiver Operating Characteristic), která zobrazuje TPR proti míře falešně pozitivních (FPR).

• ROC křivka: Vizualizuje kompromis mezi recall (senzitivita) a falešnými poplachy (1 – specificita).
• AUC (plocha pod křivkou): Udává schopnost modelu rozlišovat mezi pozitivní a negativní třídou.

Výzkum recall ve strojovém učení

V oblasti strojového učení hraje pojem „recall“ klíčovou roli při hodnocení efektivity modelů, zejména v klasifikačních úlohách. Zde je shrnutí relevantních vědeckých článků, které zkoumají různé aspekty recall ve strojovém učení:

1. Show, Recall, and Tell: Image Captioning with Recall Mechanism (Publikováno: 2021-03-12)
   Tento článek představuje nový recall mechanismus pro vylepšení popisu obrázků napodobováním lidského poznávání. Navržený mechanismus zahrnuje tři komponenty: recall jednotku pro vyhledávání relevantních slov, sémantického průvodce pro generování kontextuálních vodítek a sloty pro slova vybavená recall mechanismem pro jejich integraci do popisů. Studie využívá soft-switch inspirovaný technikami sumarizace textu pro vyvážení pravděpodobností generování slov. Přístup výrazně zlepšuje skóre BLEU-4, CIDEr a SPICE na datasetu MSCOCO a překonává ostatní moderní metody. Výsledky zdůrazňují potenciál recall mechanismů pro zvýšení popisné přesnosti v obrazových popisech. Článek si můžete přečíst zde.

2. Online Learning with Bounded Recall (Publikováno: 2024-05-31)
   Tento výzkum zkoumá koncept omezené paměti (bounded recall) v online učení, kdy rozhodnutí algoritmu vychází z omezené paměti minulých odměn. Autoři ukazují, že tradiční algoritmy založené na průměru selhávají při omezené paměti, což vede k konstantní ztrátě na kolo. Navrhují stacionární algoritmus s omezenou pamětí dosahující ztráty $\Theta(1/\sqrt{M})$ na kolo, což je těsná dolní hranice. Studie zdůrazňuje, že efektivní algoritmy s omezenou pamětí musí zohlednit sekvenci minulých ztrát, na rozdíl od nastavení s dokonalou pamětí. Článek si můžete přečíst zde.

3. Recall, Robustness, and Lexicographic Evaluation (Publikováno: 2024-03-08)
   Tento článek kriticky hodnotí použití recall při hodnocení pořadí a argumentuje pro formálnější rámec hodnocení. Autoři zavádějí pojem „recall-orientace“ a propojují jej se spravedlností v pořadových systémech. Navrhují lexikografickou hodnotící metodu „lexirecall“, která prokazuje vyšší citlivost a stabilitu oproti tradičním metrikám recall. Prostřednictvím empirických analýz napříč doporučovacími a vyhledávacími úlohami studie potvrzuje vyšší rozlišovací schopnost lexirecall a naznačuje její vhodnost pro sofistikovanější hodnocení pořadí. Článek si můžete přečíst zde.