Ladění (Fine-Tuning)

ng adapts pre-trained models to new tasks by making minor adjustments, reducing data and resource needs. It involves selecting a model, adjusting architecture, freezing/unfreezing layers, and optimizing hyperparameters for improved performance.

Co je ladění modelu?

Ladění modelu je technika strojového učení, která spočívá v tom, že vezmete předtrénovaný model a drobnými úpravami jej přizpůsobíte novému, konkrétnímu úkolu nebo datové sadě. Místo toho, abyste model stavěli od začátku – což bývá časově i zdrojově náročné – ladění využívá znalosti, které model již získal při tréninku na velkých datasetech. Úpravou parametrů modelu mohou vývojáři zlepšit výkon na novém úkolu s menším množstvím dat a výpočetních prostředků.

Ladění je podmnožinou transfer learningu, kdy jsou znalosti získané při řešení jednoho problému využity při řešení jiného, ale příbuzného úkolu. V hlubokém učení jsou předtrénované modely (například pro rozpoznávání obrázků či zpracování přirozeného jazyka) schopné nabídnout cenné reprezentace pro nové úlohy. Ladění tyto reprezentace upravuje tak, aby lépe vyhovovaly specifikům nového úkolu.

Jak se ladění modelu využívá?

Ladění slouží k efektivnímu přizpůsobení předtrénovaných modelů novým doménám nebo úkolům. Typicky zahrnuje několik klíčových kroků:

1. Výběr předtrénovaného modelu

Zvolte předtrénovaný model, který co nejvíce odpovídá novému úkolu. Například:

• Zpracování přirozeného jazyka (NLP): Modely jako BERT, GPT-3 nebo RoBERTa.
• Počítačové vidění: Modely jako ResNet, VGGNet nebo Inception.

Tyto modely byly trénovány na velkých datech a naučily se obecné rysy, které poskytují vhodný výchozí bod.

2. Úprava architektury modelu

Přizpůsobte model novému úkolu:

• Nahraďte výstupní vrstvu: U klasifikačních úloh nahraďte poslední vrstvu podle počtu tříd v nové datové sadě.
• Přidejte nové vrstvy: Zvyšte kapacitu modelu pro učení specifických rysů přidáním dalších vrstev.

3. Zamrazování a odemykání vrstev

Rozhodněte, které vrstvy chcete trénovat:

• Zmrazit rané vrstvy: Ty zachycují obecné rysy (např. hrany v obraze) a často je lze ponechat beze změny.
• Odemknout pozdější vrstvy: Ty zachycují specifičtější rysy a trénují se na nových datech.
• Postupné odemykání: Začněte trénovat jen nové vrstvy a postupně odemykejte vrstvy dřívější.

4. Trénink s novými daty

Trénujte upravený model na novém datasetu:

• Menší učící rychlost: Použijte nižší learning rate, aby změny byly jemné a nevymazaly dosavadní znalosti.
• Sledování výkonu: Pravidelně vyhodnocujte model na validačních datech, abyste předešli přeučení.

5. Ladění hyperparametrů

Optimalizujte tréninkové parametry:

• Plánování učící rychlosti: Během tréninku měňte learning rate pro lepší konvergenci.
• Batch size a počet epoch: Experimentujte s velikostí batchů a počtem epoch pro lepší výkon.

Trénování vs. ladění

Je důležité rozlišovat mezi trénováním od nuly a laděním.

Trénování od nuly

• Výchozí stav: Váhy modelu jsou inicializovány náhodně.
• Požadavky na data: Vyžaduje velké množství označených dat.
• Výpočetní nároky: Vysoce náročné; trénink velkých modelů je nákladný.
• Čas: Dlouhé trénovací časy kvůli náhodným vahám na začátku.
• Riziko přeučení: Vysoké, pokud je málo dat.

Ladění

• Výchozí stav: Začíná s předtrénovaným modelem.
• Požadavky na data: Efektivní i s menší, cílenou datovou sadou.
• Výpočetní nároky: Méně náročné; kratší doba trénování.
• Čas: Rychlejší konvergence díky přeneseným znalostem.
• Riziko přeučení: Nižší, ale stále existuje; vyžaduje sledování.

Techniky ladění modelů

Metody ladění se liší podle úkolu a dostupných zdrojů.

1. Plné ladění (Full Fine-Tuning)

• Popis: Aktualizují se všechny parametry předtrénovaného modelu.
• Výhody: Potenciál pro nejvyšší výkon na novém úkolu.
• Nevýhody: Výpočetně náročné; vyšší riziko přeučení.

2. Částečné ladění (Partial/Selective Fine-Tuning)

• Popis: Trénují se pouze některé vrstvy, ostatní jsou zmražené.
• Výběr vrstev:
  • Rané vrstvy: Zachycují obecné rysy; často zamražené.
  • Pozdější vrstvy: Zachycují specifické rysy; typicky odemčené.
• Výhody: Nižší výpočetní náročnost; zachování obecných znalostí.

3. Efektivní ladění parametrů (PEFT)

• Cíl: Snížit počet trénovatelných parametrů.
• Techniky:
  • Adaptéry:
    • Malé moduly vložené do sítě.
    • Trénují se pouze adaptéry; původní váhy zůstávají fixní.
  • Low-Rank Adaptation (LoRA):
    • Přidává nízkorozměrné matice pro aproximaci aktualizace vah.
    • Výrazně snižuje počet trénovatelných parametrů.
  • Prompt tuning:
    • Přidává trénovatelné prompty ke vstupu.
    • Upravuje chování modelu bez změny původních vah.
• Výhody: Nižší paměťová i výpočetní náročnost.

4. Aditivní ladění

• Popis: Do modelu jsou přidány nové vrstvy nebo moduly.
• Trénink: Trénují se jen tyto přidané části.
• Použití: Když má původní model zůstat beze změny.

5. Nastavení učící rychlosti

• Učící rychlost podle vrstev:
  • Různé vrstvy se trénují s různými learning rates.
  • Jemnější kontrola trénování.

Ladění velkých jazykových modelů (LLMs)

Modely jako GPT-3 a BERT vyžadují zvláštní přístup.

1. Instruction tuning

• Účel: Naučit modely lépe následovat lidské instrukce.
• Metoda:
  • Vytvoření datasetu: Sbírejte dvojice (instrukce, odpověď).
  • Trénink: Ladění modelu na tomto datasetu.
• Výsledek: Modely generují relevantnější a užitečnější odpovědi.

2. Reinforcement Learning from Human Feedback (RLHF)

• Účel: Sladit výstupy modelu s lidskými preferencemi.
• Proces:
  1. Supervizované ladění:
     • Trénink na datech se správnými odpověďmi.
  2. Reward modeling:
     • Lidé hodnotí výstupy; reward model se učí tyto hodnocení předpovídat.
  3. Optimalizace politiky:
     • Pomocí RL se model ladí tak, aby maximalizoval odměnu.
• Výhoda: Výstupy jsou lépe sladěné s lidskými hodnotami.

3. Specifika LLMs

• Výpočetní nároky:
  • LLMs jsou velké; jejich ladění je náročné na zdroje.
• Kvalita dat:
  • Data musí být kvalitní, aby se do modelu nezanesl bias.
• Etické aspekty:
  • Dbejte na možné dopady a zneužití.

Důležité aspekty a osvědčené postupy

Úspěšné ladění vyžaduje pečlivé plánování a realizaci.

1. Prevence přeučení

• Riziko: Model je dobrý na trénovacích datech, ale ne na nových.
• Jak zabránit:
  • Augmentace dat: Zvýšit rozmanitost dat.
  • Regulace: Dropout, weight decay.
  • Brzké zastavení (early stopping): Ukončit trénink při zhoršování výkonu na validačních datech.

2. Kvalita datasetu

• Význam: Laděný model je jen tak dobrý, jaká jsou data.
• Kroky:
  • Čištění dat: Odstraňte chyby a nekonzistence.
  • Vyvážená data: Zastoupení všech tříd/kategorií.

3. Učící rychlosti

• Strategie: Používat pro ladění nižší learning rate.
• Důvod: Zabrání velkým změnám vah, které by vymazaly naučené rysy.

4. Strategie zamrazování vrstev

• Faktory rozhodování:
  • Podobnost úkolů: Podobné úkoly vyžadují méně úprav.
  • Velikost dat: U malých datasetů je lepší zamrazit více vrstev.

5. Optimalizace hyperparametrů

• Postup:
  • Experimentujte s různými nastaveními.
  • Využijte grid search nebo Bayesian optimalizaci.

6. Etické aspekty

• Bias a férovost:
  • Kontrolujte výstupy na bias.
  • Používejte rozmanitá a reprezentativní data.
• Ochrana soukromí:
  • Zajistěte soulad s GDPR a dalšími předpisy.
• Transparentnost:
  • Buďte jasní ohledně schopností a limitů modelu.

7. Monitorování a evaluace

• Výběr metrik:
  • Volte metriky v souladu s cílem úkolu.
• Pravidelné testování:
  • Vyhodnocujte na neviděných datech pro zjištění generalizace.
• Logování a dokumentace:
  • Veďte podrobné záznamy experimentů a výsledků.

Metriky pro vyhodnocení laděných modelů

Správná volba metrik je zásadní.

Klasifikační úlohy

• Přesnost (Accuracy): Celková správnost.
• Preciznost (Precision): Počet správných pozitivních predikcí vůči všem pozitivním predikcím.
• Recall: Počet správných pozitiv vůči všem skutečným pozitivům.
• F1 skóre: Harmonický průměr preciznosti a recall.
• Matici záměn (Confusion Matrix): Přehled chyb predikce.

Regresní úlohy

• Mean Squared Error (MSE): Průměr čtvercových rozdílů.
• Mean Absolute Error (MAE): Průměr absolutních rozdílů.
• R-squared: Podíl vysvětlené variance modelem.

Generování textu

• BLEU skóre: Měří překryv textu.
• ROUGE skóre: Zaměřuje se na recall v sumarizaci.
• Perplexita: Měří, jak dobře model předpovídá vzorek.

Generování obrázků

• Inception Score (IS): Hodnotí kvalitu a rozmanitost obrázků.
• Fréchet Inception Distance (FID): Měří podobnost mezi generovanými a reálnými obrázky.

Výzkum v oblasti ladění modelů

Ladění modelů je klíčovým procesem pro přizpůsobení předtrénovaných modelů konkrétním úkolům, zvýšení výkonu a efektivity. Nedávné studie se zaměřily na inovativní strategie, jak tento proces zdokonalit.

1. Partial Fine-Tuning: Nástupce plného ladění pro vision transformery
   Tento výzkum představuje částečné ladění jako alternativu plného ladění pro vision transformery. Studie ukazuje, že částečné ladění může zvýšit efektivitu i přesnost. Vědci ověřovali různé strategie částečného ladění napříč datasety a architekturami a zjistili, že některé přístupy, například zaměření na FFN nebo attention vrstvy, mohou překonat plné ladění s menším počtem parametrů. Nově navržená metrika „fine-tuned angle“ pomáhá s výběrem vrstev a umožňuje flexibilní aplikaci v různých scénářích. Závěr studie: částečné ladění může zlepšit výkon a generalizaci modelu s méně parametry. Více zde
2. LayerNorm: Klíčová komponenta v efektivním ladění parametrů
   Tento článek zkoumá roli LayerNorm v efektivním ladění, zejména u BERT modelů. Autoři zjistili, že výstupní LayerNorm se při ladění významně mění napříč NLP úlohami. Zaměřením pouze na ladění LayerNormu bylo dosaženo srovnatelného či lepšího výkonu než při plném ladění. Studie využívá Fisherovu informaci k identifikaci klíčových částí LayerNormu a ukazuje, že ladění pouze malé části LayerNormu stačí k řešení mnoha NLP úloh s minimální ztrátou výkonu. Více zde
3. Za Green AI při ladění velkých jazykových modelů skrze adaptivní backpropagaci
   Tato studie se zabývá environmentálními dopady ladění velkých jazykových modelů (LLMs) a navrhuje adaptivní metody backpropagace. Přestože je ladění efektivní, je energeticky náročné a má vysokou uhlíkovou stopu. Výzkum ukazuje, že stávající efektivní techniky ladění nedostačují ke snížení výpočetních nákladů spojených s backpropagací. Článek zdůrazňuje potřebu adaptivních strategií, které by snížily environmentální dopady, a ukazuje souvislost mezi snížením FLOPs a spotřebou energie. Více zde