Învățarea Few-Shot

Ce este Învățarea Few-Shot?

Învățarea Few-Shot este o abordare de învățare automată care permite modelelor să facă predicții precise folosind doar un număr mic de exemple etichetate. Spre deosebire de metodele tradiționale de învățare supervizată care necesită cantități mari de date etichetate pentru antrenare, Învățarea Few-Shot se concentrează pe antrenarea modelelor să generalizeze dintr-un set de date limitat. Scopul este de a dezvolta algoritmi de învățare care pot învăța eficient concepte sau sarcini noi din doar câteva instanțe, similar cu capacitățile de învățare umane.

În contextul învățării automate, termenul „few-shot” se referă la numărul de exemple de antrenament per clasă. De exemplu:

• Învățare One-Shot: Modelul învață dintr-un singur exemplu per clasă.
• Învățare Few-Shot: Modelul învață dintr-un număr mic (de obicei 2 până la 5) de exemple per clasă.

Învățarea Few-Shot face parte din categoria mai largă de învățare n-shot, unde n reprezintă numărul de exemple de antrenament per clasă. Este strâns legată de meta-învățare, cunoscută și ca „învățarea de a învăța”, unde modelul este antrenat pe o varietate de sarcini și învață să se adapteze rapid la sarcini noi cu date limitate.

Cum este folosită Învățarea Few-Shot?

Învățarea Few-Shot este folosită în principal în situații în care obținerea unui set mare de date etichetate este nepractică sau imposibilă. Acest lucru poate apărea din cauza:

• Rarității datelor: Evenimente rare, imagini de produse noi, intenții unice ale utilizatorilor sau condiții medicale neobișnuite.
• Costurilor mari de adnotare: Etichetarea datelor necesită cunoștințe de specialitate sau un timp semnificativ investit.
• Preocupărilor privind confidențialitatea: Partajarea sau colectarea datelor este restricționată din cauza reglementărilor privind confidențialitatea.

Pentru a aborda aceste provocări, Învățarea Few-Shot valorifică cunoștințele anterioare și strategiile de învățare care permit modelelor să facă predicții fiabile din date minime.

Abordări de bază în Învățarea Few-Shot

Au fost dezvoltate mai multe metodologii pentru a implementa eficient Învățarea Few-Shot:

1. Meta-Învățare (Învățarea de a Învăța)
2. Transfer de Învățare
3. Augmentarea Datelor
4. Învățare Metrică

1. Meta-Învățare (Învățarea de a Învăța)

Meta-învățarea presupune antrenarea modelelor pe o varietate de sarcini astfel încât acestea să poată învăța rapid sarcini noi dintr-o cantitate mică de date. Modelul dobândește o înțelegere la nivel meta a modului de a învăța, permițându-i să se adapteze rapid cu exemple limitate.

Concepte cheie:

• Episoade: Antrenamentul este structurat în episoade, fiecare imitând o sarcină Few-Shot.
• Set de suport: Un mic set de date etichetate pe care modelul îl folosește pentru a învăța.
• Set de interogare: Un set de date pe care modelul face predicții după ce a învățat din setul de suport.

Algoritmi populari de meta-învățare:

• Meta-Învățare Agnostică de Model (MAML): Antrenează parametrii modelului astfel încât un număr mic de actualizări ale gradientului să ducă la o bună generalizare pe sarcini noi.
• Rețele Prototipice: Învăță un spațiu metric în care clasificarea se realizează calculând distanțe până la reprezentările prototip ale fiecărei clase.
• Rețele de Potrivire (Matching Networks): Utilizează mecanisme de atenție peste o reprezentare învățată a setului de suport pentru a face predicții.

Exemplu de utilizare:

În procesarea limbajului natural (NLP), un chatbot poate avea nevoie să înțeleagă noi intenții ale utilizatorilor care nu au fost prezente în timpul antrenamentului inițial. Prin utilizarea meta-învățării, chatbotul se poate adapta rapid pentru a recunoaște și răspunde la aceste noi intenții după ce primește doar câteva exemple.

2. Transfer de Învățare

Transferul de învățare valorifică cunoștințele dobândite dintr-o sarcină pentru a îmbunătăți învățarea într-o sarcină diferită, dar înrudită. Un model este mai întâi pre-antrenat pe un set de date mare, apoi ajustat (fine-tuned) pe sarcina Few-Shot țintă.

Proces:

• Pre-antrenare: Antrenează un model pe un set de date mare și divers pentru a învăța caracteristici generale.
• Ajustare: Adaptează modelul pre-antrenat la noua sarcină folosind datele limitate disponibile.

Avantaje:

• Reduce nevoia de cantități mari de date etichetate pentru sarcina țintă.
• Beneficiază de reprezentările bogate de caracteristici învățate în timpul pre-antrenării.

Exemplu de utilizare:

În viziunea computerizată, un model pre-antrenat pe ImageNet poate fi ajustat pentru a clasifica imagini medicale pentru o boală rară folosind doar câteva exemple etichetate disponibile.

3. Augmentarea Datelor

Augmentarea datelor presupune generarea de date suplimentare de antrenament din setul de date limitat existent. Acest lucru poate ajuta la prevenirea supraînvățării și la îmbunătățirea capacității modelului de a generaliza.

Tehnici:

• Transformări de imagine: Rotirea, scalarea, inversarea și decuparea imaginilor.
• Generarea de date sintetice: Utilizarea unor modele generative, precum Rețele Generative Adversariale (GAN), pentru a crea noi exemple de date.
• Mixup și CutMix: Combinarea perechilor de exemple pentru a crea noi mostre de antrenament.

Exemplu de utilizare:

În recunoașterea vocală, augmentarea câtorva mostre audio cu zgomot de fundal, modificări de ton sau variații de viteză poate crea un set de antrenament mai robust.

4. Învățare Metrică

Învățarea metrică se concentrează pe învățarea unei funcții de distanță care măsoară cât de similare sau diferite sunt două puncte de date. Modelul învață să mapeze datele într-un spațiu de embedding în care elementele similare sunt apropiate.

Abordare:

• Rețele Siameze: Utilizează două rețele identice cu greutăți partajate pentru a calcula embeddingurile perechilor de intrări și a măsura distanța dintre ele.
• Pierdere tripletă (Triplet Loss): Se asigură că un ancora este mai aproape de un exemplu pozitiv decât de unul negativ cu o anumită marjă.
• Învățare Contrastă: Învăță embeddinguri prin contrastarea perechilor similare și diferite.

Exemplu de utilizare:

În recunoașterea facială, învățarea metrică permite modelului să verifice dacă două imagini sunt ale aceleiași persoane pe baza embeddingurilor învățate.

Cercetare privind Învățarea Few-Shot

Învățarea few-shot este un domeniu în rapidă evoluție în învățarea automată care abordează provocarea antrenării modelelor cu o cantitate limitată de date etichetate. Această secțiune explorează câteva articole științifice cheie care contribuie la înțelegerea și dezvoltarea metodologiilor de few-shot learning.

Articole științifice importante

1. Deep Optimal Transport: Un algoritm practic pentru restaurarea foto-realistă a imaginilor

   • Autori: Theo Adrai, Guy Ohayon, Tomer Michaeli, Michael Elad
   • Rezumat: Acest articol prezintă un algoritm inovator de restaurare a imaginilor care valorifică principiile învățării few-shot. Folosind un set mic de imagini, algoritmul îmbunătățește calitatea perceptuală sau eroarea medie pătratică (MSE) a modelelor pre-antrenate fără antrenament suplimentar. Metoda se bazează pe teoria transportului optim, care aliniază distribuția ieșirii cu datele sursă printr-o transformare liniară în spațiul latent al unui auto-encoder variațional. Cercetarea demonstrează îmbunătățiri ale calității perceptuale și sugerează o metodă de interpolare pentru a echilibra calitatea perceptuală cu MSE în imaginile restaurate.
   • Citește mai mult

2. Strategii Minimax de deviație pentru învățarea automată și recunoaștere cu mostre de învățare scurte

   • Autori: Michail Schlesinger, Evgeniy Vodolazskiy
   • Rezumat: Acest studiu abordează provocările mostrelor mici de învățare în învățarea automată. Critică limitările strategiilor de învățare de tipul maximului de verosimilitate și minimax și introduce conceptul de învățare cu deviație minimax. Această nouă abordare urmărește să depășească neajunsurile metodelor existente, oferind o alternativă robustă pentru scenariile de few-shot learning.
   • Citește mai mult

3. Câteva perspective asupra sistemelor de învățare prin întărire pe tot parcursul vieții

   • Autor: Changjian Li
   • Rezumat: Deși se concentrează în principal pe sistemele de învățare continuă, acest articol oferă perspective aplicabile și pentru few-shot learning, evidențiind deficiențele paradigmelor tradiționale de învățare prin întărire. Sugerează că sistemele de învățare pe tot parcursul vieții, care învață continuu prin interacțiuni, pot oferi perspective valoroase pentru dezvoltarea modelelor few-shot.
   • Citește mai mult

4. Dex: Învățare incrementală pentru medii complexe în învățarea profundă prin întărire

   • Autori: Nick Erickson, Qi Zhao
   • Rezumat: Kitul Dex este introdus pentru antrenarea și evaluarea metodelor de învățare continuă, cu accent pe învățarea incrementală. Această abordare poate fi văzută ca o formă de few-shot learning, unde inițializarea optimă a greutăților este obținută din rezolvarea unor medii mai simple. Articolul demonstrează cum învățarea incrementală poate depăși semnificativ metodele tradiționale în scenarii complexe de învățare prin întărire.
   • Citește mai mult

5. Învățare prin imitație Q augmentată (AQIL)

   • Autori: Xiao Lei Zhang, Anish Agarwal
   • Rezumat: Acest articol explorează intersecția dintre învățarea prin imitație și învățarea prin întărire, două domenii strâns legate de few-shot learning. AQIL combină aceste paradigme de învățare pentru a crea un cadru robust pentru învățarea nesupervizată, oferind perspective despre cum poate fi îmbunătățită învățarea few-shot prin mecanisme de imitație și feedback.
   • Citește mai mult