Few-Shot Learning

Che cos’è il Few-Shot Learning?

Il Few-Shot Learning è un approccio di apprendimento automatico che consente ai modelli di effettuare previsioni accurate utilizzando solo un piccolo numero di esempi etichettati. A differenza dei metodi supervisionati tradizionali che richiedono grandi quantità di dati etichettati per l’addestramento, il Few-Shot Learning si concentra sull’addestrare modelli a generalizzare da un dataset limitato. L’obiettivo è sviluppare algoritmi di apprendimento che possano apprendere nuovi concetti o compiti in modo efficiente partendo da pochi esempi, in maniera simile alle capacità di apprendimento umano.

Nel contesto dell’apprendimento automatico, il termine “few-shot” si riferisce al numero di esempi di addestramento per classe. Ad esempio:

• One-Shot Learning: Il modello apprende da un solo esempio per classe.
• Few-Shot Learning: Il modello apprende da un piccolo numero (tipicamente da 2 a 5) di esempi per classe.

Il Few-Shot Learning rientra nella categoria più ampia del n-shot learning, dove n rappresenta il numero di esempi di addestramento per classe. È strettamente correlato al meta-learning, noto anche come “imparare a imparare”, dove il modello viene addestrato su una varietà di compiti e impara ad adattarsi rapidamente a nuovi compiti con dati limitati.

Come viene utilizzato il Few-Shot Learning?

Il Few-Shot Learning viene utilizzato principalmente in situazioni in cui ottenere un grande dataset etichettato è impraticabile o impossibile. Questo può accadere a causa di:

• Scarsità di dati: Eventi rari, nuove immagini di prodotto, intenzioni utente uniche o condizioni mediche poco comuni.
• Alti costi di annotazione: L’etichettatura dei dati richiede conoscenze esperte o un notevole investimento di tempo.
• Questioni di privacy: La condivisione o la raccolta dei dati è limitata da regolamenti sulla privacy.

Per affrontare queste sfide, il Few-Shot Learning sfrutta conoscenze pregresse e strategie di apprendimento che consentono ai modelli di effettuare previsioni affidabili anche da dati minimi.

Approcci principali nel Few-Shot Learning

Sono state sviluppate diverse metodologie per implementare efficacemente il Few-Shot Learning:

1. Meta-Learning (imparare a imparare)
2. Transfer Learning
3. Data Augmentation
4. Metric Learning

1. Meta-Learning (imparare a imparare)

Il Meta-Learning consiste nell’addestrare modelli su una varietà di compiti in modo che possano apprendere rapidamente nuovi compiti a partire da una piccola quantità di dati. Il modello acquisisce una comprensione a livello meta di come imparare, permettendogli di adattarsi velocemente con pochi esempi.

Concetti chiave:

• Episodi: L’addestramento è strutturato in episodi, ciascuno dei quali simula un compito Few-Shot.
• Support Set: Un piccolo dataset etichettato che il modello usa per apprendere.
• Query Set: Un dataset su cui il modello effettua previsioni dopo aver appreso dal support set.

Algoritmi di Meta-Learning più diffusi:

• Model-Agnostic Meta-Learning (MAML): Allena i parametri del modello affinché un piccolo numero di aggiornamenti tramite gradienti porti a una buona generalizzazione su nuovi compiti.
• Prototypical Networks: Impara uno spazio metrico in cui la classificazione viene effettuata calcolando la distanza rispetto a rappresentazioni prototipo di ciascuna classe.
• Matching Networks: Utilizza meccanismi di attenzione su un embedding appreso del support set per fare previsioni.

Esempio d’uso:

Nel natural language processing (NLP), un chatbot può dover comprendere nuove intenzioni dell’utente non presenti nell’addestramento iniziale. Utilizzando il meta-learning, il chatbot può adattarsi rapidamente a riconoscere e rispondere a queste nuove intenzioni dopo aver ricevuto solo pochi esempi.

2. Transfer Learning

Il Transfer Learning sfrutta conoscenze acquisite con un compito per migliorare l’apprendimento in un compito correlato ma diverso. Un modello viene prima pre-addestrato su un grande dataset, poi ottimizzato (fine-tuned) sul compito Few-Shot di destinazione.

Processo:

• Pre-training: Addestrare un modello su un dataset ampio e diversificato per imparare feature generali.
• Fine-Tuning: Adattare il modello pre-addestrato al nuovo compito utilizzando i dati limitati disponibili.

Vantaggi:

• Riduce la necessità di grandi quantità di dati etichettati per il compito di destinazione.
• Sfrutta le ricche rappresentazioni apprese durante il pre-addestramento.

Esempio d’uso:

Nella computer vision, un modello pre-addestrato su ImageNet può essere ottimizzato per classificare immagini mediche di una malattia rara usando solo pochi esempi etichettati disponibili.

3. Data Augmentation

La Data Augmentation consiste nella generazione di dati di addestramento aggiuntivi a partire dal dataset limitato esistente. Questo aiuta a prevenire l’overfitting e migliora la capacità del modello di generalizzare.

Tecniche:

• Trasformazioni di immagini: Rotazione, scalatura, flip e crop delle immagini.
• Generazione di dati sintetici: Utilizzo di modelli generativi come Generative Adversarial Networks (GANs) per creare nuovi campioni di dati.
• Mixup e CutMix: Combinazione di coppie di esempi per creare nuovi campioni di addestramento.

Esempio d’uso:

Nel riconoscimento vocale, l’augmentazione di pochi campioni audio con rumore di fondo, cambi di tonalità o variazioni di velocità può produrre un set di addestramento più robusto.

4. Metric Learning

Il Metric Learning si concentra sull’apprendimento di una funzione di distanza che misura quanto due punti dati siano simili o diversi. Il modello impara a mappare i dati in uno spazio di embedding in cui gli elementi simili sono vicini tra loro.

Approccio:

• Reti Siamesi: Utilizzano reti gemelle con pesi condivisi per calcolare gli embedding di coppie di input e misurare la distanza tra di essi.
• Triplet Loss: Garantisce che un anchor sia più vicino a un esempio positivo che a uno negativo di un certo margine.
• Contrastive Learning: Impara embedding contrastando coppie simili e dissimili.

Esempio d’uso:

Nel riconoscimento facciale, il metric learning consente al modello di verificare se due immagini sono della stessa persona sulla base degli embedding appresi.

Ricerca sul Few-Shot Learning

Il Few-Shot Learning è un’area in rapida evoluzione dell’apprendimento automatico che affronta la sfida di addestrare modelli con una quantità limitata di dati etichettati. Questa sezione esplora alcuni articoli scientifici chiave che contribuiscono alla comprensione e allo sviluppo delle metodologie di few-shot learning.

Articoli scientifici chiave

1. Deep Optimal Transport: A Practical Algorithm for Photo-realistic Image Restoration

   • Autori: Theo Adrai, Guy Ohayon, Tomer Michaeli, Michael Elad
   • Sintesi: Questo articolo presenta un innovativo algoritmo di image restoration che sfrutta i principi del few-shot learning. Utilizzando un piccolo set di immagini, l’algoritmo migliora la qualità percettiva o l’errore quadratico medio (MSE) di modelli pre-addestrati senza necessità di ulteriore addestramento. Il metodo si basa sulla teoria dell’optimal transport, che allinea la distribuzione di output con i dati sorgente tramite una trasformazione lineare nello spazio latente di un variational auto-encoder. La ricerca mostra miglioramenti nella qualità percettiva e suggerisce un metodo di interpolazione per bilanciare qualità percettiva e MSE nelle immagini restaurate.
   • Approfondisci

2. Minimax Deviation Strategies for Machine Learning and Recognition with Short Learning Samples

   • Autori: Michail Schlesinger, Evgeniy Vodolazskiy
   • Sintesi: Questo studio affronta le sfide dei piccoli campioni di apprendimento nel machine learning. Analizza i limiti delle strategie di apprendimento di massima verosimiglianza e minimax, introducendo il concetto di minimax deviation learning. Questo nuovo approccio mira a superare le carenze dei metodi esistenti, offrendo un’alternativa robusta per scenari di few-shot learning.
   • Approfondisci

3. Some Insights into Lifelong Reinforcement Learning Systems

   • Autori: Changjian Li
   • Sintesi: Sebbene focalizzato principalmente sui sistemi di lifelong learning, questo articolo fornisce spunti applicabili al few-shot learning mettendo in luce le carenze dei paradigmi tradizionali di reinforcement learning. Suggerisce che i sistemi di lifelong learning, che apprendono continuamente attraverso le interazioni, possano offrire prospettive preziose per lo sviluppo di modelli di few-shot learning.
   • Approfondisci

4. Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning

   • Autori: Nick Erickson, Qi Zhao
   • Sintesi: Il toolkit Dex viene introdotto per l’addestramento e la valutazione di metodi di apprendimento continuo, con particolare attenzione all’apprendimento incrementale. Questo approccio può essere visto come una forma di few-shot learning, dove l’inizializzazione ottimale dei pesi deriva dalla risoluzione di ambienti più semplici. L’articolo mostra come l’apprendimento incrementale possa superare significativamente i metodi tradizionali in scenari di reinforcement learning complessi.
   • Approfondisci

5. Augmented Q Imitation Learning (AQIL)

   • Autori: Xiao Lei Zhang, Anish Agarwal
   • Sintesi: Questo articolo esplora l’intersezione tra imitation learning e reinforcement learning, due aree strettamente legate al few-shot learning. AQIL combina questi paradigmi di apprendimento per creare un framework robusto per l’apprendimento non supervisionato, offrendo spunti su come il few-shot learning possa essere migliorato tramite meccanismi di imitazione e feedback.
   • Approfondisci