Recall nel Machine Learning

Cos’è il Recall nel Machine Learning?

Nel campo del machine learning, in particolare nei problemi di classificazione, valutare le prestazioni di un modello è fondamentale. Una delle metriche chiave utilizzate per valutare la capacità di un modello di identificare correttamente le istanze positive è il recall. Questa metrica è essenziale negli scenari in cui la mancata identificazione di un’istanza positiva (falsi negativi) può avere conseguenze importanti. In questa guida approfondita esploreremo cos’è il recall, come viene usato nel machine learning, forniremo esempi dettagliati e casi d’uso, e illustreremo la sua importanza nell’AI, nell’automazione AI e nei chatbot.

Comprendere il Recall

Definizione di Recall

Il recall, noto anche come sensibilità o tasso di veri positivi, è una metrica che quantifica la proporzione di istanze positive effettive che sono state correttamente identificate dal modello di machine learning. Misura la completezza di un modello nel recuperare tutte le istanze rilevanti dal dataset.

Matematicamente, il recall è definito come:

Recall = Veri Positivi / (Veri Positivi + Falsi Negativi)

Dove:

• Veri Positivi (TP): Il numero di istanze positive correttamente classificate dal modello.
• Falsi Negativi (FN): Il numero di istanze positive che il modello ha classificato erroneamente come negative.

Il Ruolo del Recall nelle Metriche di Classificazione

Il recall è una delle diverse metriche di classificazione utilizzate per valutare le prestazioni dei modelli, soprattutto nei problemi di classificazione binaria. Si concentra sulla capacità del modello di identificare tutte le istanze positive ed è particolarmente importante quando il costo di perdere un positivo è elevato.

Il recall è strettamente correlato ad altre metriche di classificazione, come la precisione e l’accuratezza. Comprendere come il recall interagisce con queste metriche è essenziale per una valutazione completa delle prestazioni di un modello.

La Matrice di Confusione Spiegata

Per comprendere appieno il concetto di recall, è importante conoscere la matrice di confusione, uno strumento che fornisce una suddivisione dettagliata delle prestazioni di un modello.

Struttura della Matrice di Confusione

La matrice di confusione è una tabella che riassume le prestazioni di un modello di classificazione mostrando i conteggi di veri positivi, falsi positivi, veri negativi e falsi negativi. Si presenta così:

• Vero Positivo (TP): Istanza positiva prevista correttamente.
• Falso Positivo (FP): Istanza negativa prevista erroneamente come positiva (Errore di Tipo I).
• Falso Negativo (FN): Istanza positiva prevista erroneamente come negativa (Errore di Tipo II).
• Vero Negativo (TN): Istanza negativa prevista correttamente.

La matrice di confusione permette di vedere non solo quante previsioni sono corrette, ma anche quali tipi di errori sono stati commessi, come falsi positivi e falsi negativi.

Calcolo del Recall Tramite la Matrice di Confusione

Dalla matrice di confusione, il recall si calcola come:

Recall = TP / (TP + FN)

Questa formula rappresenta la proporzione di positivi reali che sono stati identificati correttamente.

Recall nella Classificazione Binaria

La classificazione binaria consiste nel categorizzare le istanze in una delle due classi: positiva o negativa. Il recall è particolarmente rilevante in tali problemi, soprattutto quando si lavora con dataset sbilanciati.

Dataset Sbilanciati

Un dataset sbilanciato è quello in cui il numero di istanze per ciascuna classe non è approssimativamente uguale. Ad esempio, nel rilevamento delle frodi, il numero di transazioni fraudolente (classe positiva) è molto inferiore rispetto a quello delle transazioni legittime (classe negativa). In questi casi, l’accuratezza del modello può essere fuorviante, poiché un modello può ottenere un’alta accuratezza semplicemente prevedendo sempre la classe maggioritaria.

Esempio: Rilevamento delle Frodi

Consideriamo un dataset di 10.000 transazioni finanziarie:

• Transazioni Fraudolente Reali (Classe Positiva): 100
• Transazioni Legittime Reali (Classe Negativa): 9.900

Supponiamo che un modello di machine learning preveda:

• Transazioni Fraudolente Previste:
  • Veri Positivi (TP): 70 (frodi individuate correttamente)
  • Falsi Positivi (FP): 10 (transazioni legittime previste erroneamente come frodi)
• Transazioni Legittime Previste:
  • Veri Negativi (TN): 9.890 (legittime individuate correttamente)
  • Falsi Negativi (FN): 30 (frodi previste come legittime)

Calcolo del recall:

Recall = TP / (TP + FN)
Recall = 70 / (70 + 30)
Recall = 70 / 100
Recall = 0,7

Il recall è del 70%, ovvero il modello ha rilevato il 70% delle transazioni fraudolente. Nel rilevamento delle frodi, perdere transazioni fraudolente (falsi negativi) può essere costoso, quindi si desidera un recall elevato.

Precisione vs. Recall

Comprendere la Precisione

La precisione misura la proporzione di identificazioni positive che erano effettivamente corrette. Risponde alla domanda: “Su tutte le istanze previste come positive, quante erano davvero positive?”

Formula della precisione:

Precisione = TP / (TP + FP)

• Veri Positivi (TP): Istanza positiva prevista correttamente.
• Falsi Positivi (FP): Istanza negativa prevista erroneamente come positiva.

Il Compromesso tra Precisione e Recall

Esiste spesso un compromesso tra precisione e recall:

• Recall alto, precisione bassa: Il modello identifica la maggior parte delle istanze positive (pochi falsi negativi), ma classifica erroneamente molte istanze negative come positive (molti falsi positivi).
• Precisione alta, recall basso: Il modello identifica correttamente le istanze positive con pochi falsi positivi, ma perde molte istanze positive reali (molti falsi negativi).

Bilanciare precisione e recall dipende dalle esigenze specifiche dell’applicazione.

Esempio: Rilevamento Spam Email

Nel filtraggio delle email spam:

• Recall alto: Cattura la maggior parte delle email di spam, ma può classificare erroneamente email legittime come spam (falsi positivi).
• Precisione alta: Minimizza la classificazione errata delle email legittime, ma può far passare email di spam nella casella di posta (falsi negativi).

Il bilanciamento ottimale dipende dall’importanza di evitare lo spam nella casella di posta o di non perdere email legittime.

Casi d’Uso in cui il Recall è Fondamentale

1. Diagnosi Medica

Nel rilevamento delle malattie, la mancata identificazione di un caso positivo (il paziente ha la malattia ma non viene riconosciuto) può avere gravi conseguenze.

• Obiettivo: Massimizzare il recall per assicurarsi che tutti i potenziali casi vengano identificati.
• Esempio: Screening del cancro, dove perdere una diagnosi può ritardare il trattamento.

2. Rilevamento delle Frodi

Identificazione di attività fraudolente nelle transazioni finanziarie.

• Obiettivo: Massimizzare il recall per rilevare il maggior numero possibile di transazioni fraudolente.
• Considerazione: I falsi positivi (transazioni legittime segnalate come frode) sono scomodi ma meno costosi della mancata rilevazione di frodi.

3. Sistemi di Sicurezza

Rilevamento di intrusioni o accessi non autorizzati.

• Obiettivo: Garantire un recall elevato per individuare tutte le violazioni di sicurezza.
• Approccio: Accettare alcuni falsi allarmi per non perdere minacce reali.

4. Chatbot e Automazione AI

Nei chatbot alimentati da AI, capire e rispondere correttamente alle intenzioni degli utenti è cruciale.

• Obiettivo: Alto recall per riconoscere il maggior numero possibile di richieste degli utenti.
• Applicazione: Chatbot per il servizio clienti che devono comprendere i diversi modi in cui gli utenti possono chiedere aiuto.

5. Rilevamento dei Guasti nella Produzione

Identificare difetti o malfunzionamenti nei prodotti.

• Obiettivo: Massimizzare il recall per evitare che prodotti difettosi raggiungano i clienti.
• Impatto: Un recall elevato assicura controllo qualità e soddisfazione del cliente.

Calcolo del Recall: Un Esempio

Supponiamo di avere un dataset per un problema di classificazione binaria, come la previsione dell’abbandono dei clienti:

• Clienti totali: 1.000
• Abbandoni reali (Classe Positiva): 200 clienti
• Non abbandoni reali (Classe Negativa): 800 clienti

Dopo aver applicato un modello di machine learning, otteniamo la seguente matrice di confusione:

Calcolo del recall:

Recall = TP / (TP + FN)
Recall = 160 / (160 + 40)
Recall = 160 / 200
Recall = 0,8

Il recall è dell'80%, il che indica che il modello ha identificato correttamente l'80% dei clienti che abbandoneranno.

Migliorare il Recall nei Modelli di Machine Learning

Per aumentare il recall, considera le seguenti strategie:

Metodi a Livello di Dati

• Raccogliere più dati: Soprattutto per la classe positiva, per aiutare il modello ad apprendere meglio.
• Tecniche di Ricampionamento: Utilizzare metodi come SMOTE (Synthetic Minority Over-sampling Technique) per bilanciare il dataset.
• Aumento dei Dati: Creare dati sintetici aggiuntivi per la classe minoritaria.

Metodi a Livello di Algoritmo

• Regolare la soglia di classificazione: Abbassare la soglia per classificare più istanze come positive.
• Apprendimento Sensibile ai Costi: Assegnare penalità più elevate ai falsi negativi nella funzione di perdita.
• Metodi Ensemble: Combinare più modelli per migliorare le prestazioni complessive.

Feature Engineering

• Creare nuove feature: Che catturino meglio le caratteristiche della classe positiva.
• Selezione delle feature: Concentrarsi sulle variabili più rilevanti per la classe positiva.

Selezione del Modello e Ottimizzazione degli Iperparametri

• Scegliere algoritmi appropriati: Alcuni algoritmi gestiscono meglio i dati sbilanciati (es. Random Forest, XGBoost).
• Ottimizzare gli iperparametri: Regolare i parametri specificamente per migliorare il recall.

Interpretazione Matematica del Recall

Comprendere il recall da una prospettiva matematica offre insight più approfonditi.

Interpretazione Bayesiana

Il recall può essere visto in termini di probabilità condizionale:

Recall = P(Predetto Positivo | Reale Positivo)

Rappresenta la probabilità che il modello predica positivo dato che la classe reale è positiva.

Relazione con l’Errore di Tipo II

• Tasso di errore di Tipo II (β): La probabilità di un falso negativo.
• Recall: Uguale a (1 – Tasso di errore di Tipo II).

Un recall elevato implica un basso tasso di errore di Tipo II, cioè pochi falsi negativi.

Collegamento con la Curva ROC

Il recall è il True Positive Rate (TPR) utilizzato nella curva ROC (Receiver Operating Characteristic), che rappresenta il TPR in funzione del tasso di falsi positivi (FPR).

• Curva ROC: Visualizza il compromesso tra recall (sensibilità) e fallout (1 – specificità).
• AUC (Area Under the Curve): Rappresenta la capacità del modello di discriminare tra classi positive e negative.

Ricerche sul Recall nel Machine Learning

Nel campo del machine learning, il concetto di “recall” svolge un ruolo cruciale nella valutazione dell’efficacia dei modelli, in particolare nei compiti di classificazione. Ecco un riepilogo di alcuni articoli di ricerca rilevanti che esplorano vari aspetti del recall nel machine learning:

1. Show, Recall, and Tell: Image Captioning with Recall Mechanism (Pubblicato: 2021-03-12)
   Questo articolo introduce un nuovo meccanismo di recall volto a migliorare la generazione di didascalie per immagini imitando la cognizione umana. Il meccanismo proposto comprende tre componenti: una unità di recall per recuperare le parole rilevanti, una guida semantica per fornire un contesto e slot di parole richiamate per integrare questi termini nelle didascalie. Lo studio utilizza uno switch soft ispirato da tecniche di riassunto testuale per bilanciare le probabilità di generazione delle parole. L’approccio migliora significativamente i punteggi BLEU-4, CIDEr e SPICE sul dataset MSCOCO, superando altri metodi all’avanguardia. I risultati evidenziano il potenziale dei meccanismi di recall nel migliorare la precisione descrittiva nella generazione di didascalie. Leggi l’articolo qui.

2. Online Learning with Bounded Recall (Pubblicato: 2024-05-31)
   Questa ricerca indaga il concetto di bounded recall nell’apprendimento online, uno scenario in cui le decisioni di un algoritmo si basano su una memoria limitata delle ricompense passate. Gli autori dimostrano che gli algoritmi tradizionali no-regret basati sulla media falliscono in presenza di bounded recall, producendo un regret costante per ogni iterazione. Propongono un algoritmo stazionario con bounded recall che raggiunge un regret per iterazione di $\Theta(1/\sqrt{M})$, presentando un limite inferiore stretto. Lo studio evidenzia che algoritmi efficaci di bounded recall devono considerare la sequenza delle perdite passate, in contrasto con gli scenari di perfect recall. Leggi l’articolo qui.

3. Recall, Robustness, and Lexicographic Evaluation (Pubblicato: 2024-03-08)
   Questo lavoro critica l’uso del recall nella valutazione dei ranking, proponendo un quadro valutativo più formale. Gli autori introducono il concetto di “recall-orientation”, collegandolo all’equità nei sistemi di ranking. Propongono un metodo di valutazione lessicografico, “lexirecall”, che dimostra maggiore sensibilità e stabilità rispetto alle metriche recall tradizionali. Attraverso analisi empiriche su diversi compiti di raccomandazione e recupero, lo studio valida il maggiore potere discriminativo di lexirecall, suggerendone l’idoneità per valutazioni di ranking più raffinate. Leggi l’articolo qui.