Recall koneoppimisessa

Mitä recall tarkoittaa koneoppimisessa?

Koneoppimisen parissa, erityisesti luokitteluongelmissa, mallin suorituskyvyn arviointi on ensiarvoisen tärkeää. Yksi keskeisistä mittareista, jolla arvioidaan mallin kykyä tunnistaa positiiviset tapaukset oikein, on recall. Tämä mittari on olennainen tilanteissa, joissa positiivisen tapauksen missaaminen (false negatives) voi johtaa merkittäviin seurauksiin. Tässä kattavassa oppaassa perehdytään siihen, mitä recall tarkoittaa, miten sitä käytetään koneoppimisessa, tarjotaan yksityiskohtaisia esimerkkejä ja käyttötapauksia sekä selitetään sen merkitys tekoälyssä, automaatiossa ja chatboteissa.

Recallin ymmärtäminen

Recallin määritelmä

Recall, joka tunnetaan myös nimillä herkkyys tai true positive rate, on mittari, joka ilmaisee kuinka suuren osuuden todellisista positiivisista tapauksista koneoppimismalli tunnistaa oikein. Se mittaa mallin kykyä löytää kaikki olennaiset tapaukset aineistosta.

Matemaattisesti recall määritellään seuraavasti:

Recall = True Positives / (True Positives + False Negatives)

Missä:

• True Positives (TP): Mallin oikein luokittelemien positiivisten tapausten määrä.
• False Negatives (FN): Positiiviset tapaukset, jotka malli luokitteli väärin negatiivisiksi.

Recallin rooli luokittelumittareissa

Recall on yksi useista luokittelumittareista, joilla arvioidaan mallien suorituskykyä, erityisesti binäärisessä luokittelussa. Se keskittyy mallin kykyyn tunnistaa kaikki positiiviset tapaukset, ja on erityisen tärkeä silloin, kun positiivisen tapauksen missaaminen aiheuttaa suuria kustannuksia.

Recall liittyy läheisesti muihin luokittelumittareihin, kuten precisioniin ja tarkkuuteen (accuracy). Ymmärtämällä miten recall vuorovaikuttaa näiden mittareiden kanssa, voi arvioida mallin suorituskykyä kattavammin.

Sekavuusmatriisi selitettynä

Recallin käsitteen ymmärtämiseksi on tärkeää tuntea sekavuusmatriisi (confusion matrix), joka tarjoaa yksityiskohtaisen kuvan mallin suorituskyvystä.

Sekavuusmatriisin rakenne

Sekavuusmatriisi on taulukko, joka tiivistää luokittelumallin suorituskyvyn näyttämällä oikeiden ja väärien positiivisten ja negatiivisten tapausten määrät. Se näyttää tältä:

• True Positive (TP): Oikein ennustetut positiiviset tapaukset.
• False Positive (FP): Väärin ennustetut positiiviset tapaukset (tyyppi I virhe).
• False Negative (FN): Väärin ennustetut negatiiviset tapaukset (tyyppi II virhe).
• True Negative (TN): Oikein ennustetut negatiiviset tapaukset.

Sekavuusmatriisi auttaa näkemään paitsi oikeiden ennustusten määrän, myös millaisia virheitä on tehty, kuten false positives ja false negatives.

Recallin laskeminen sekavuusmatriisista

Sekavuusmatriisin avulla recall lasketaan seuraavasti:

Recall = TP / (TP + FN)

Tämä kaava kuvaa kuinka suuri osa todellisista positiivisista tapauksista tunnistettiin oikein.

Recall binäärisessä luokittelussa

Binäärisessä luokittelussa tapaukset jaetaan kahteen luokkaan: positiivisiin ja negatiivisiin. Recall on erityisen tärkeä tällaisissa ongelmissa, etenkin kun käsitellään epätasapainoisia aineistoja.

Epätasapainoiset aineistot

Epätasapainoisessa aineistossa luokkien tapausten määrät eivät ole suunnilleen yhtä suuret. Esimerkiksi petosten tunnistuksessa petollisten tapahtumien (positiivinen luokka) määrä on huomattavasti pienempi kuin laillisten tapahtumien (negatiivinen luokka). Tällöin mallin tarkkuus voi olla harhaanjohtava, koska malli voi saada korkean tarkkuuden pelkästään ennustamalla enemmistöluokkaa.

Esimerkki: Petosten tunnistus

Kuvitellaan aineisto, jossa on 10 000 taloudellista tapahtumaa:

• Todelliset petolliset tapahtumat (positiivinen luokka): 100
• Todelliset lailliset tapahtumat (negatiivinen luokka): 9 900

Oletetaan, että koneoppimismalli ennustaa:

• Ennustetut petolliset tapahtumat:
  • True Positives (TP): 70 (oikein tunnistetut petokset)
  • False Positives (FP): 10 (lailliset tapahtumat väärin tunnistettuina petoksiksi)
• Ennustetut lailliset tapahtumat:
  • True Negatives (TN): 9 890 (oikein tunnistetut lailliset)
  • False Negatives (FN): 30 (petolliset tapahtumat väärin tunnistettuina laillisiksi)

Recallin laskeminen:

Recall = TP / (TP + FN)
Recall = 70 / (70 + 30)
Recall = 70 / 100
Recall = 0.7

Recall on 70 %, eli malli tunnisti 70 % petollisista tapahtumista. Petosten tunnistuksessa petollisten tapausten missaaminen (false negatives) voi olla kallista, joten korkea recall on toivottavaa.

Precision vs. Recall

Precisionin ymmärtäminen

Precision mittaa, kuinka suuri osuus positiivisiksi ennustetuista tapauksista on todellisuudessa positiivisia. Se vastaa kysymykseen: “Kuinka moni mallin positiiviseksi ennustamista tapauksista oli todella positiivinen?”

Precisionin kaava:

Precision = TP / (TP + FP)

• True Positives (TP): Oikein ennustetut positiiviset tapaukset.
• False Positives (FP): Negatiiviset tapaukset, jotka ennustettiin virheellisesti positiivisiksi.

Precisionin ja recallin välinen kompromissi

Precisionin ja recallin välillä on usein kompromissi:

• Korkea recall, matala precision: Malli tunnistaa lähes kaikki positiiviset tapaukset (vähän false negatives), mutta merkitsee myös monia negatiivisia tapauksia virheellisesti positiivisiksi (paljon false positives).
• Korkea precision, matala recall: Malli tunnistaa positiiviset tapaukset tarkasti (vähän false positives), mutta jättää tunnistamatta monia todellisia positiivisia tapauksia (paljon false negatives).

Sopiva tasapaino riippuu sovelluksen erityistarpeista.

Esimerkki: Sähköpostin roskapostisuodatus

Sähköpostin roskapostisuodatuksessa:

• Korkea recall: Suurin osa roskapostista tunnistetaan, mutta osa laillisista viesteistä voi päätyä roskapostiksi (false positives).
• Korkea precision: Vain vähän laillisia viestejä väärin roskapostiksi, mutta osa roskapostista jää tunnistamatta (false negatives).

Optimaalinen tasapaino riippuu siitä, onko tärkeämpää välttää roskapostin pääsyä postilaatikkoon vai varmistaa, ettei yhtään laillista viestiä mene hukkaan.

Käyttötapauksia, joissa recall on kriittinen

1. Lääketieteellinen diagnostiikka

Sairauksien tunnistuksessa positiivisen tapauksen missaaminen (potilas on sairas, mutta ei tunnisteta) voi johtaa vakaviin seurauksiin.

• Tavoite: Maksimoi recall, jotta kaikki mahdolliset tapaukset tunnistetaan.
• Esimerkki: Syövän seulonta, jossa diagnoosin missaaminen voi viivästyttää hoitoa.

2. Petosten tunnistus

Petollisten tapahtumien tunnistaminen taloudellisissa prosesseissa.

• Tavoite: Maksimoi recall, jotta mahdollisimman moni petostapaus tunnistetaan.
• Huomio: False positives (lailliset tapahtumat merkitty petoksiksi) ovat epämukavia, mutta vähemmän haitallisia kuin petosten missaaminen.

3. Turvallisuusjärjestelmät

Tunkeutumisten tai luvatonta pääsyn tunnistaminen.

• Tavoite: Korkea recall, jotta kaikki turvallisuusrikkomukset havaitaan.
• Lähestymistapa: Hyväksytään joitakin vääriä hälytyksiä, jotta oikeita uhkia ei jää huomaamatta.

4. Chatbotit ja tekoälyn automaatio

Tekoälypohjaisissa chatboteissa käyttäjän aikomusten ymmärtäminen ja oikea reagointi on tärkeää.

• Tavoite: Korkea recall, jotta mahdollisimman moni käyttäjän pyyntö tunnistetaan.
• Sovellus: Asiakaspalveluchatbotit, joiden on tunnistettava monenlaisia avunpyyntöjä.

5. Vianhavaitseminen valmistuksessa

Vikojen tai virheiden tunnistaminen tuotteissa.

• Tavoite: Maksimoi recall, jotta vialliset tuotteet eivät päädy asiakkaille.
• Vaikutus: Korkea recall varmistaa laadunvalvonnan ja asiakastyytyväisyyden.

Recallin laskeminen: Esimerkki

Oletetaan, että käytössä on aineisto binääriluokitteluun, esimerkiksi asiakaspoistuman ennustamiseen:

• Asiakkaita yhteensä: 1 000
• Todellinen poistuma (positiivinen luokka): 200 asiakasta
• Todellinen ei-poistuma (negatiivinen luokka): 800 asiakasta

Mallin jälkeen saadaan seuraava sekavuusmatriisi:

Recallin laskeminen:

Recall = TP / (TP + FN)
Recall = 160 / (160 + 40)
Recall = 160 / 200
Recall = 0.8

Recall on 80 %, eli malli tunnisti oikein 80 % poistuvista asiakkaista.

Recallin parantaminen koneoppimismalleissa

Recallin parantamiseksi voi hyödyntää seuraavia strategioita:

Datan tasoiset menetelmät

• Kerää lisää dataa: Erityisesti positiivisesta luokasta mallin oppimisen tueksi.
• Uudelleennäytteenottotekniikat: Käytä esimerkiksi SMOTEa (Synthetic Minority Over-sampling Technique) aineiston tasapainottamiseen.
• Data-augmentaatio: Luo lisää synteettistä dataa vähemmistöluokalle.

Algoritmitason menetelmät

• Säädä luokittelukynnystä: Laske kynnystä, jotta useammat tapaukset luokitellaan positiivisiksi.
• Kustannusherkkä oppiminen: Anna tappiofunktiossa suurempi painoarvo false negativeseille.
• Yhdistelmämenetelmät (ensemble): Yhdistä useita malleja suorituskyvyn parantamiseksi.

Piirreinsinöörin työkalut

• Luo uusia piirteitä: Jotka kuvaavat positiivisen luokan ominaisuuksia paremmin.
• Piirrevalinta: Keskity piirteisiin, jotka ovat olennaisimpia positiiviselle luokalle.

Mallivalinta ja hyperparametrien säätö

• Valitse sopivat algoritmit: Jotkut algoritmit käsittelevät epätasapainoista dataa paremmin (esim. Random Forest, XGBoost).
• Säädä hyperparametreja: Optimoi parametrit erityisesti recallin parantamiseksi.

Recallin matemaattinen tulkinta

Recallin ymmärtäminen matemaattisesta näkökulmasta syventää aihetta.

Bayesilainen tulkinta

Recall voidaan nähdä ehdollisena todennäköisyytenä:

Recall = P(Ennustettu positiivinen | Todellinen positiivinen)

Tämä kuvaa todennäköisyyttä, että malli ennustaa tapauksen positiiviseksi, kun se on oikeasti positiivinen.

Yhteys tyyppi II virheeseen

• Tyyppi II virheen todennäköisyys (β): False negativeseiden todennäköisyys.
• Recall: Yhtä kuin (1 – tyyppi II virheen todennäköisyys).

Korkea recall tarkoittaa matalaa tyyppi II virhettä eli vähän false negatives -tuloksia.

Yhteys ROC-käyrään

Recall on sama asia kuin True Positive Rate (TPR), jota käytetään ROC-käyrässä (Receiver Operating Characteristic), jossa TPR asetetaan False Positive Ratea (FPR) vastaan.

• ROC-käyrä: Havainnollistaa recallin (herkkyyden) ja virheellisten positiivisten osuuden (1 – spesifisyys) välistä kompromissia.
• AUC (Area Under the Curve): Kuvaa mallin kykyä erottaa positiiviset ja negatiiviset tapaukset.

Tutkimusta recallista koneoppimisessa

Koneoppimisen alalla recallin käsite on keskeinen mallien tehokkuuden arvioinnissa, erityisesti luokittelutehtävissä. Tässä on yhteenveto tutkimusartikkeleista, jotka käsittelevät recallia eri näkökulmista:

1. Show, Recall, and Tell: Image Captioning with Recall Mechanism (Julkaistu: 2021-03-12)
   Tässä artikkelissa esitellään uusi recall-mekanismi, joka pyrkii parantamaan kuvatekstitystä jäljittelemällä ihmisen kognitiota. Ratkaisu koostuu kolmesta osasta: recall-yksikkö relevanttien sanojen hakemiseen, semanttinen opas kontekstuaalisen tuen tuottamiseen sekä recalled-word slotit sanojen integrointiin kuvateksteihin. Tutkimuksessa hyödynnetään tekstin tiivistämisestä inspiroitunutta soft switch -menetelmää sanojen luontitodennäköisyyksien tasapainottamiseen. Lähestymistapa parantaa merkittävästi BLEU-4-, CIDEr- ja SPICE-pisteitä MSCOCO-datassa ja ylittää muut huippumenetelmät. Tulokset osoittavat recall-mekanismien potentiaalin kuvailevan tarkkuuden parantamisessa kuvatekstityksessä. Lue artikkeli täältä.

2. Online Learning with Bounded Recall (Julkaistu: 2024-05-31)
   Tässä tutkimuksessa tarkastellaan rajatun recallin (bounded recall) käsitettä verkko-oppimisessa tilanteessa, jossa algoritmin päätökset perustuvat vain rajattuun määrään aiempia palkkioita. Kirjoittajat osoittavat, että perinteiset keskiarvoon perustuvat no-regret-algoritmit epäonnistuvat rajatun recallin olosuhteissa, mikä johtaa vakioregretin kertymiseen kierroksittain. Tutkimuksessa esitetään stationaarinen bounded-recall-algoritmi, joka saavuttaa regretin $\Theta(1/\sqrt{M})$ kierrosta kohden, ja esitetään sille tiukka alaraja. Tutkimus korostaa, että tehokkaiden bounded-recall-algoritmien tulee huomioida aiempien tappioiden järjestys, mikä eroaa täydellisen recallin asetelmasta. Lue artikkeli täältä.

3. Recall, Robustness, and Lexicographic Evaluation (Julkaistu: 2024-03-08)
   Tässä artikkelissa kritisoidaan recallin käyttöä ranking-arvioinneissa ja esitetään muodollisempi arviointikehys. Kirjoittajat esittelevät “recall-orientaation” käsitteen ja liittävät sen oikeudenmukaisuuteen ranking-järjestelmissä. He ehdottavat leksikografista arviointimenetelmää, “lexirecallia”, joka osoittaa suurempaa herkkyyttä ja vakautta perinteisiin recall-mittareihin verrattuna. Empiiristen analyysien perusteella useissa suosittelu- ja hakutehtävissä lexirecall todettiin erottelevammaksi ja soveltuvaksi vivahteikkaampiin ranking-arviointeihin. Lue artikkeli täältä.