Few-Shot Learning

Hvad er Few-Shot Learning?

Few-Shot Learning er en maskinlæringstilgang, der gør det muligt for modeller at lave præcise forudsigelser ved kun at bruge et lille antal mærkede eksempler. I modsætning til traditionelle overvågede læringsmetoder, som kræver store mængder mærkede data til træning, fokuserer Few-Shot Learning på at træne modeller til at generalisere ud fra et begrænset datasæt. Målet er at udvikle læringsalgoritmer, der effektivt kan tilegne sig nye begreber eller opgaver med kun få eksempler – ligesom mennesker lærer.

Inden for maskinlæring refererer udtrykket “few-shot” til antallet af træningseksempler pr. klasse. For eksempel:

• One-Shot Learning: Modellen lærer kun ud fra ét eksempel pr. klasse.
• Few-Shot Learning: Modellen lærer ud fra et lille antal (typisk 2 til 5) eksempler pr. klasse.

Few-Shot Learning hører under den bredere kategori n-shot learning, hvor n er antallet af træningseksempler pr. klasse. Det er nært beslægtet med meta-læring, også kaldet “at lære at lære”, hvor modellen trænes på en række forskellige opgaver og lærer hurtigt at tilpasse sig nye opgaver med begrænsede data.

Hvordan bruges Few-Shot Learning?

Few-Shot Learning bruges primært i situationer, hvor det er upraktisk eller umuligt at skaffe et stort mærket datasæt. Dette kan ske på grund af:

• Datamangel: Sjældne hændelser, nye produktbilleder, unikke brugerintentioner eller usædvanlige medicinske tilstande.
• Høje annoteringsomkostninger: Mærkning af data kræver ekspertviden eller væsentlig tidsinvestering.
• Privatlivsbekymringer: Deling eller indsamling af data er begrænset af privatlivsregler.

For at imødegå disse udfordringer udnytter Few-Shot Learning forudgående viden og læringsstrategier, der gør det muligt for modeller at lave pålidelige forudsigelser ud fra minimale data.

Centrale tilgange i Few-Shot Learning

Der er udviklet flere metoder til effektivt at implementere Few-Shot Learning:

1. Meta-Læring (at lære at lære)
2. Transfer Learning
3. Dataforøgelse
4. Metrisk Læring

1. Meta-Læring (at lære at lære)

Meta-Læring indebærer at træne modeller på en bred vifte af opgaver, så de hurtigt kan lære nye opgaver ud fra et lille datagrundlag. Modellen opnår en meta-forståelse af, hvordan man lærer, hvilket gør den i stand til hurtigt at tilpasse sig med få eksempler.

Vigtige begreber:

• Episoder: Træningen struktureres i episoder, der hver især efterligner en Few-Shot-opgave.
• Support Set: Et lille mærket datasæt, som modellen bruger til at lære.
• Query Set: Et datasæt, modellen laver forudsigelser på efter at have lært fra support set.

Populære meta-læringsalgoritmer:

• Model-Agnostic Meta-Learning (MAML): Træner modelparametre, så et lille antal gradientopdateringer fører til god generalisering på nye opgaver.
• Prototypiske netværk: Lærer et metrisk rum, hvor klassifikation sker ved at beregne afstande til prototype-repræsentationer af hver klasse.
• Matching Networks: Bruger attention-mekanismer over en lært indlejring af support set for at lave forudsigelser.

Eksempel på brug:

Inden for naturlig sprogbehandling (NLP) kan en chatbot skulle forstå nye brugerintentioner, der ikke var til stede under den oprindelige træning. Ved hjælp af meta-læring kan chatbotten hurtigt tilpasse sig og genkende disse nye intentioner efter kun at have fået få eksempler.

2. Transfer Learning

Transfer Learning udnytter viden opnået fra én opgave til at forbedre læring i en beslægtet, men anderledes opgave. En model fortrænes på et stort datasæt og finjusteres derefter til målopgaven med få-skuds-data.

Proces:

• Fortræning: Træn en model på et stort, varieret datasæt for at lære generelle egenskaber.
• Finjustering: Tilpas den fortrænede model til den nye opgave ved at bruge de begrænsede tilgængelige data.

Fordele:

• Reducerer behovet for store mængder mærkede data til målopgaven.
• Drager fordel af de rige feature-repræsentationer, der læres under fortræning.

Eksempel på brug:

Inden for computer vision kan en model fortrænet på ImageNet finjusteres til at klassificere medicinske billeder for en sjælden sygdom ved kun at bruge få mærkede eksempler.

3. Dataforøgelse

Dataforøgelse indebærer at generere yderligere træningsdata ud fra det eksisterende, begrænsede datasæt. Dette kan hjælpe med at forhindre overfitting og forbedre modellens evne til at generalisere.

Teknikker:

• Billedtransformationer: Rotation, skalering, spejling og beskæring af billeder.
• Syntetisk datagenerering: Brug af generative modeller som Generative Adversarial Networks (GANs) til at skabe nye datasamples.
• Mixup og CutMix: Kombinere par af eksempler for at skabe nye træningssamples.

Eksempel på brug:

Inden for talegenkendelse kan forøgelse af få lydprøver med baggrundsstøj, tonehøjdeændringer eller hastighedsvariationer skabe et mere robust træningssæt.

4. Metrisk Læring

Metrisk Læring fokuserer på at lære en afstandsfunktion, der måler, hvor ens eller forskellige to datapunkter er. Modellen lærer at mappe data ind i et indlejringsrum, hvor lignende elementer ligger tæt på hinanden.

Fremgangsmåde:

• Siamese netværk: Bruger tvillinge-netværk med delte vægte til at beregne indlejringer af inputpar og måler afstanden mellem dem.
• Triplet Loss: Sikrer, at et anker er tættere på et positivt eksempel end et negativt eksempel med en vis margin.
• Kontrastiv læring: Lærer indlejringer ved at kontrastere lignende og forskellige par.

Eksempel på brug:

Inden for ansigtsgenkendelse gør metrisk læring det muligt for modellen at verificere, om to billeder viser den samme person, baseret på de lærte indlejringer.

Forskning i Few-Shot Learning

Few-Shot Learning er et hurtigt udviklende område inden for maskinlæring, der adresserer udfordringen med at træne modeller på et begrænset antal mærkede data. Dette afsnit udforsker flere vigtige videnskabelige artikler, som bidrager til forståelsen og udviklingen af Few-Shot Learning-metoder.

Centrale videnskabelige artikler

1. Deep Optimal Transport: A Practical Algorithm for Photo-realistic Image Restoration

   • Forfattere: Theo Adrai, Guy Ohayon, Tomer Michaeli, Michael Elad
   • Resumé: Denne artikel præsenterer en innovativ billedrestaureringsalgoritme, der udnytter principper fra Few-Shot Learning. Ved at anvende et lille sæt billeder forbedrer algoritmen den perceptuelle kvalitet eller middelkvadreret fejl (MSE) af fortrænede modeller uden yderligere træning. Metoden er baseret på optimal transport-teori, som tilpasser outputfordelingen med kildedata gennem en lineær transformation i det latente rum af en variational auto-encoder. Forskningsarbejdet demonstrerer forbedringer i perceptuel kvalitet og foreslår en interpolationsmetode til at balancere perceptuel kvalitet med MSE i genskabte billeder.
   • Læs mere

2. Minimax Deviation Strategies for Machine Learning and Recognition with Short Learning Samples

   • Forfattere: Michail Schlesinger, Evgeniy Vodolazskiy
   • Resumé: Dette studie adresserer udfordringerne ved små læringssamples i maskinlæring. Det kritiserer begrænsningerne ved maximum likelihood og minimax læringsstrategier og introducerer begrebet minimax deviation learning. Denne nye tilgang har til formål at overvinde ulemperne ved eksisterende metoder og tilbyder et robust alternativ til få-skuds-læringsscenarier.
   • Læs mere

3. Some Insights into Lifelong Reinforcement Learning Systems

   • Forfattere: Changjian Li
   • Resumé: Selvom fokus primært er på livslang læringssystemer, giver denne artikel indsigter, der også er relevante for Few-Shot Learning, idet den fremhæver manglerne ved traditionelle forstærkningslæringsparadigmer. Den foreslår, at livslange læringssystemer, som kontinuerligt lærer gennem interaktioner, kan bidrage med værdifulde perspektiver til udviklingen af Few-Shot Learning-modeller.
   • Læs mere

4. Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning

   • Forfattere: Nick Erickson, Qi Zhao
   • Resumé: Dex-værktøjskassen introduceres til træning og evaluering af kontinuerlige læringsmetoder med fokus på inkrementel læring. Denne tilgang kan betragtes som en form for Few-Shot Learning, hvor optimal vægtinitialisering opnås ved at løse simplere miljøer. Artiklen viser, hvordan inkrementel læring markant kan overgå traditionelle metoder i komplekse forstærkningslæringsscenarier.
   • Læs mere

5. Augmented Q Imitation Learning (AQIL)

   • Forfattere: Xiao Lei Zhang, Anish Agarwal
   • Resumé: Denne artikel undersøger krydsfeltet mellem imitation learning og reinforcement learning, to områder der er nært beslægtet med Few-Shot Learning. AQIL kombinerer disse læringsparadigmer for at skabe en robust ramme for usuperviseret læring og giver indblik i, hvordan Few-Shot Learning kan forbedres gennem imitation og feedbackmekanismer.
   • Læs mere