Recall v strojovom učení

Čo je recall v strojovom učení?

V oblasti strojového učenia, najmä pri klasifikačných úlohách, je hodnotenie výkonnosti modelu zásadné. Jednou z kľúčových metrík na posúdenie schopnosti modelu správne identifikovať pozitívne prípady je recall. Táto metrika je neoddeliteľná v situáciách, kde má vynechanie pozitívneho prípadu (falošne negatívny) vážne dôsledky. Tento komplexný sprievodca vysvetľuje, čo je recall, ako sa používa v strojovom učení, prináša podrobné príklady a prípady použitia a objasňuje jeho význam v AI, AI automatizácii a chatbotoch.

Pochopenie recall

Definícia recall

Recall, nazývaný aj citlivosť alebo miera správne pozitívnych, je metrika, ktorá vyjadruje podiel skutočných pozitívnych prípadov, ktoré model strojového učenia správne identifikoval. Meria úplnosť modelu pri vyhľadávaní všetkých relevantných prípadov z dátovej množiny.

Matematicky je recall definovaný ako:

Recall = Počet správne pozitívnych / (Počet správne pozitívnych + Počet falošne negatívnych)

Kde:

• Správne pozitívne (TP): Počet pozitívnych prípadov správne klasifikovaných modelom.
• Falošne negatívne (FN): Počet pozitívnych prípadov, ktoré model nesprávne označil ako negatívne.

Úloha recall v klasifikačných metrikách

Recall je jednou z viacerých metrík používaných na hodnotenie výkonnosti modelov, najmä pri binárnej klasifikácii. Zameriava sa na schopnosť modelu identifikovať všetky pozitívne prípady a je zvlášť dôležitý, ak je cena za vynechanie pozitívneho prípadu vysoká.

Recall úzko súvisí s ďalšími klasifikačnými metrikami, ako sú precision a presnosť. Dôležité je pochopiť, ako recall interaguje s týmito metrikami pre komplexné vyhodnotenie modelu.

Vysvetlenie confusion matrix

Pre úplné pochopenie recall je dôležité poznať confusion matrix – nástroj, ktorý poskytuje detailný prehľad o výkonnosti modelu.

Štruktúra confusion matrix

Confusion matrix je tabuľka, ktorá sumarizuje výkonnosť klasifikačného modelu podľa počtu správne pozitívnych, falošne pozitívnych, správne negatívnych a falošne negatívnych prípadov. Vyzerá takto:

• Správne pozitívne (TP): Správne predikované pozitívne prípady.
• Falošne pozitívne (FP): Nesprávne predikované pozitívne prípady (chyba I. druhu).
• Falošne negatívne (FN): Nesprávne predikované negatívne prípady (chyba II. druhu).
• Správne negatívne (TN): Správne predikované negatívne prípady.

Confusion matrix nám umožňuje nielen sledovať správnosť predikcií, ale aj typy chýb, ako sú falošne pozitívne a falošne negatívne predikcie.

Výpočet recall pomocou confusion matrix

Z confusion matrix sa recall vypočíta takto:

Recall = TP / (TP + FN)

Tento vzorec vyjadruje podiel skutočných pozitívnych, ktoré boli správne identifikované.

Recall pri binárnej klasifikácii

Binárna klasifikácia znamená zaraďovanie prípadov do jednej z dvoch tried: pozitívnej alebo negatívnej. Recall je v takýchto úlohách obzvlášť dôležitý, najmä pri nevyvážených dátach.

Nevyvážené dáta

Nevyvážený dataset je taký, kde počet prípadov v jednotlivých triedach nie je približne rovnaký. Napríklad pri detekcii podvodov je počet podvodných transakcií (pozitívna trieda) oveľa menší ako počet legitímnych (negatívna trieda). V takýchto prípadoch môže byť presnosť modelu zavádzajúca, pretože model môže dosahovať vysokú presnosť len predikovaním väčšinovej triedy.

Príklad: Detekcia podvodov

Predstavte si dataset s 10 000 finančnými transakciami:

• Skutočné podvodné transakcie (pozitívna trieda): 100
• Skutočné legitímne transakcie (negatívna trieda): 9 900

Model predikuje:

• Predikované podvodné transakcie:
  • Správne pozitívne (TP): 70 (správne identifikované podvody)
  • Falošne pozitívne (FP): 10 (legitímne transakcie označené ako podvod)
• Predikované legitímne transakcie:
  • Správne negatívne (TN): 9 890 (správne identifikované legitímne)
  • Falošne negatívne (FN): 30 (podvody označené ako legitímne)

Výpočet recall:

Recall = TP / (TP + FN)
Recall = 70 / (70 + 30)
Recall = 70 / 100
Recall = 0,7

Recall je 70 %, čo znamená, že model odhalil 70 % podvodných transakcií. Pri detekcii podvodov je vynechanie podvodných transakcií (falošne negatívnych) nákladné, preto je žiaduci vyšší recall.

Precision vs. Recall

Pochopenie precision

Precision meria podiel pozitívnych identifikácií, ktoré boli naozaj správne. Odpovedá na otázku: „Z tých prípadov, ktoré boli predikované ako pozitívne, koľko bolo naozaj pozitívnych?“

Vzorec pre precision:

Precision = TP / (TP + FP)

• Správne pozitívne (TP): Správne predikované pozitívne prípady.
• Falošne pozitívne (FP): Nesprávne predikované pozitívne prípady.

Kompromis medzi precision a recall

Medzi precision a recall často existuje kompromis:

• Vysoký recall, nízky precision: Model identifikuje väčšinu pozitívnych prípadov (málo falošne negatívnych), ale zároveň chybne označí mnoho negatívnych ako pozitívne (veľa falošne pozitívnych).
• Vysoký precision, nízky recall: Model správne identifikuje pozitívne prípady s malým počtom falošne pozitívnych, ale vynechá veľa skutočných pozitívnych (veľa falošne negatívnych).

Vyváženie precision a recall závisí od konkrétnych požiadaviek aplikácie.

Príklad: Detekcia spamov v e-maile

Pri filtrovaní spamov:

• Vysoký recall: Zachytí väčšinu spamov, ale môže nesprávne označiť legitímne e-maily ako spam (falošne pozitívne).
• Vysoký precision: Minimalizuje nesprávne označenie legitímnych e-mailov, ale niektoré spamy môžu prejsť do schránky (falošne negatívne).

Optimálny kompromis závisí od toho, či je dôležitejšie zabrániť spamu v schránke alebo nevynechať legitímne e-maily.

Prípady použitia, kde je recall kľúčový

1. Medicínska diagnostika

Pri detekcii ochorení môže mať vynechanie pozitívneho prípadu (pacient naozaj má chorobu, ale nie je identifikovaný) vážne následky.

• Cieľ: Maximalizovať recall, aby boli identifikované všetky potenciálne prípady.
• Príklad: Skríning rakoviny, kde vynechanie diagnózy môže oddialiť liečbu.

2. Detekcia podvodov

Identifikácia podvodných aktivít pri finančných transakciách.

• Cieľ: Maximalizovať recall na odhalenie čo najväčšieho počtu podvodných transakcií.
• Úvaha: Falošne pozitívne prípady (legitímne transakcie označené ako podvod) sú nepríjemné, ale menej nákladné ako vynechané podvody.

3. Bezpečnostné systémy

Detekcia prienikov alebo neoprávneného prístupu.

• Cieľ: Zabezpečiť vysoký recall, aby sa zachytili všetky bezpečnostné incidenty.
• Prístup: Prijať niektoré falošné poplachy, aby sa predišlo vynechaniu skutočných hrozieb.

4. Chatboty a AI automatizácia

Pri AI chatbotoch je dôležité správne rozpoznať a reagovať na úmysly používateľov.

• Cieľ: Vysoký recall na rozpoznanie čo najväčšieho počtu požiadaviek používateľov.
• Aplikácia: Chatboty zákazníckej podpory, ktoré musia porozumieť rôznym spôsobom, akými zákazník žiada o pomoc.

5. Detekcia porúch vo výrobe

Identifikácia chýb alebo porúch v produktoch.

• Cieľ: Maximalizovať recall, aby sa vadné kusy nedostali k zákazníkom.
• Dopad: Vysoký recall zaručuje kontrolu kvality a spokojnosť zákazníkov.

Výpočet recall: Príklad

Predstavme si dataset pre binárnu klasifikáciu, napríklad predikcia odchodu zákazníka:

• Počet zákazníkov spolu: 1 000
• Skutočný odchod (pozitívna trieda): 200 zákazníkov
• Skutočný neodchod (negatívna trieda): 800 zákazníkov

Po aplikovaní modelu získame túto confusion matrix:

Výpočet recall:

Recall = TP / (TP + FN)
Recall = 160 / (160 + 40)
Recall = 160 / 200
Recall = 0,8

Recall je 80 %, teda model správne identifikoval 80 % zákazníkov, ktorí odídu.

Ako zlepšiť recall v modeloch strojového učenia

Na zvýšenie recall možno využiť tieto stratégie:

Metódy na úrovni dát

• Získať viac dát: Najmä pre pozitívnu triedu, aby sa model naučil lepšie rozlišovať.
• Resampling: Použiť techniky ako SMOTE (Synthetic Minority Over-sampling Technique) na vyváženie dát.
• Augmentácia dát: Vytvárať ďalšie syntetické dáta pre menšinovú triedu.

Metódy na úrovni algoritmu

• Úprava klasifikačného prahu: Znížiť prah, aby sa viac prípadov klasifikovalo ako pozitívne.
• Nákladovo-citlivé učenie: Priradiť vyššie penalizácie falošne negatívnym v stratovej funkcii.
• Ensemble metódy: Kombinovať viacero modelov na zlepšenie celkového výkonu.

Feature engineering

• Vytvárať nové príznaky: Ktoré lepšie zachytia vlastnosti pozitívnej triedy.
• Výber príznakov: Zamerať sa na tie, ktoré sú najrelevantnejšie pre pozitívnu triedu.

Výber modelu a ladenie hyperparametrov

• Výber vhodných algoritmov: Niektoré algoritmy lepšie zvládajú nevyvážené dáta (napr. Random Forest, XGBoost).
• Ladenie hyperparametrov: Optimalizovať parametre konkrétne na zlepšenie recall.

Matematická interpretácia recall

Pochopenie recall z matematického pohľadu prináša hlbší náhľad.

Bayesovská interpretácia

Recall možno vnímať ako podmienenú pravdepodobnosť:

Recall = P(Predikované pozitívne | Skutočne pozitívne)

To znamená pravdepodobnosť, že model predikuje pozitívne, ak je trieda skutočne pozitívna.

Súvis s chybou II. druhu

• Miera chyby II. druhu (β): Pravdepodobnosť falošne negatívneho.
• Recall: Rovná sa (1 – miera chyby II. druhu).

Vysoký recall znamená nízku mieru chyby II. druhu, teda menej falošne negatívnych.

Súvis s ROC krivkou

Recall je miera správne pozitívnych (TPR) používaná v ROC (Receiver Operating Characteristic) krivke, ktorá zobrazuje TPR voči miere falošne pozitívnych (FPR).

• ROC krivka: Vizualizuje kompromis medzi recall (citlivosťou) a podielom falošne pozitívnych (1 – špecificita).
• AUC (plocha pod krivkou): Vyjadruje schopnosť modelu rozlíšiť medzi pozitívnou a negatívnou triedou.

Výskum recall v strojovom učení

V oblasti strojového učenia hrá pojem „recall“ kľúčovú úlohu pri hodnotení efektivity modelov, najmä pri klasifikačných úlohách. Tu je prehľad relevantných vedeckých článkov, ktoré skúmajú rôzne aspekty recall v strojovom učení:

1. Show, Recall, and Tell: Image Captioning with Recall Mechanism (Publikované: 2021-03-12)
   Tento článok predstavuje nový recall mechanizmus na zlepšenie generovania popisov obrázkov napodobňovaním ľudskej kognície. Navrhovaný mechanizmus obsahuje tri zložky: recall jednotku na vyhľadávanie relevantných slov, sémantického sprievodcu na generovanie kontextuálnej navigácie a sloty na začlenenie vyhľadaných slov do popisov. Štúdia využíva soft-switch inšpirovaný technikami sumarizácie textu na vyváženie pravdepodobnosti generovania slov. Prístup výrazne zlepšuje skóre BLEU-4, CIDEr a SPICE na datasete MSCOCO a prekonáva iné najmodernejšie metódy. Výsledky podčiarkujú potenciál recall mechanizmov na zvýšenie presnosti opisov obrázkov. Prečítajte si článok tu.

2. Online Learning with Bounded Recall (Publikované: 2024-05-31)
   Tento výskum skúma koncept obmedzeného recall v online učení, kde rozhodnutia algoritmu vychádzajú z obmedzenej pamäte minulých odmien. Autori ukazujú, že tradičné mean-based no-regret algoritmy zlyhávajú pri obmedzenom recall, čo vedie k ustálenému regretu na kolo. Navrhujú stacionárny bounded-recall algoritmus, ktorý dosahuje regret na kolo vo výške $\Theta(1/\sqrt{M})$, čo je ostrá dolná hranica. Štúdia zdôrazňuje, že účinné algoritmy s obmedzeným recall musia zohľadňovať sled minulých strát, na rozdiel od nastavení s dokonalou pamäťou. Prečítajte si článok tu.

3. Recall, Robustness, and Lexicographic Evaluation (Publikované: 2024-03-08)
   Tento článok kritizuje používanie recall pri hodnotení poradia, pričom argumentuje za formálnejší hodnotiaci rámec. Autori predstavujú pojem „recall-orientácia“, ktorý prepája recall so spravodlivosťou v systémoch radenia. Navrhujú lexikografickú metódu hodnotenia „lexirecall“, ktorá vykazuje vyššiu citlivosť a stabilitu v porovnaní s tradičnými recall metrikami. Empirickou analýzou naprieč rôznymi odporúčacími a vyhľadávacími úlohami štúdia potvrdzuje lepšiu rozlišovaciu silu lexirecall, čo naznačuje jej vhodnosť pre jemnejšie hodnotenie poradia. Prečítajte si článok tu.