Fine-Tuning

ng adatta i modelli pre-addestrati a nuovi compiti tramite piccoli aggiustamenti, riducendo il fabbisogno di dati e risorse. Comprende la selezione di un modello, la modifica dell’architettura, il congelamento/sblocco dei layer e l’ottimizzazione degli iperparametri per migliorare le prestazioni.

Che cos’è l’affinamento del modello?

L’affinamento del modello è una tecnica di machine learning che consiste nel prendere un modello pre-addestrato e apportare piccoli aggiustamenti per adattarlo a un nuovo compito o dataset specifico. Invece di costruire un modello da zero—un processo che può essere dispendioso in termini di tempo e risorse—l’affinamento sfrutta le conoscenze che un modello ha già acquisito da un addestramento precedente su grandi dataset. Modificando i parametri del modello, gli sviluppatori possono migliorare le prestazioni su un nuovo compito usando meno dati e risorse computazionali.

L’affinamento è una sottoclasse del transfer learning, dove conoscenze acquisite risolvendo un problema vengono applicate a un altro problema differente ma correlato. Nel deep learning, i modelli pre-addestrati (come quelli usati per il riconoscimento di immagini o l’elaborazione del linguaggio naturale) hanno appreso rappresentazioni che possono essere preziose per nuovi compiti. L’affinamento regola queste rappresentazioni per adattarle meglio alle specificità del nuovo compito.

Come viene utilizzato l’affinamento del modello?

L’affinamento viene utilizzato per adattare in modo efficiente i modelli pre-addestrati a nuovi domini o compiti. Il processo prevede tipicamente diversi passaggi chiave:

1. Selezione di un modello pre-addestrato

Scegli un modello pre-addestrato che si allinea strettamente con il nuovo compito. Per esempio:

• Natural Language Processing (NLP): Modelli come BERT, GPT-3 o RoBERTa.
• Computer Vision: Modelli come ResNet, VGGNet o Inception.

Questi modelli sono stati addestrati su grandi dataset e hanno appreso caratteristiche generali che rappresentano ottimi punti di partenza.

2. Modifica dell’architettura del modello

Modifica il modello per adattarlo al nuovo compito:

• Sostituzione dei layer di output: Per i compiti di classificazione, sostituisci il layer finale per riflettere il numero di classi del nuovo dataset.
• Aggiunta di nuovi layer: Introduci layer aggiuntivi per aumentare la capacità del modello di apprendere caratteristiche specifiche del compito.

3. Congelamento e sblocco dei layer

Decidi quali layer addestrare:

• Congela i primi layer: I primi layer catturano caratteristiche generali (es. bordi nelle immagini) e possono restare invariati.
• Sblocca i layer successivi: I layer più avanzati catturano caratteristiche più specifiche e vengono addestrati sui nuovi dati.
• Sblocco graduale: Inizia addestrando solo i nuovi layer, poi sblocca progressivamente anche quelli precedenti.

4. Addestramento con nuovi dati

Addestra il modello modificato sul nuovo dataset:

• Learning rate più basso: Usa un learning rate ridotto per apportare aggiustamenti delicati senza sovrascrivere le caratteristiche già apprese.
• Monitoraggio delle prestazioni: Valuta regolarmente il modello sui dati di validazione per prevenire l’overfitting.

5. Ottimizzazione degli iperparametri

Ottimizza i parametri di addestramento:

• Scheduler del learning rate: Modifica il learning rate durante l’addestramento per una migliore convergenza.
• Batch size ed epoche: Sperimenta con differenti batch size e numero di epoche per migliorare le prestazioni.

Addestramento vs. Affinamento

Comprendere la differenza tra addestramento da zero e affinamento è fondamentale.

Addestramento da zero

• Punto di partenza: I pesi del modello sono inizializzati casualmente.
• Richiesta di dati: Richiede grandi quantità di dati etichettati.
• Risorse computazionali: Elevate; addestrare grandi modelli è dispendioso.
• Tempo: Tempi di addestramento più lunghi partendo da pesi casuali.
• Rischio di overfitting: Più elevato se i dati sono insufficienti.

Affinamento

• Punto di partenza: Si inizia da un modello pre-addestrato.
• Richiesta di dati: Efficace anche con dataset più piccoli e specifici.
• Risorse computazionali: Meno intensive; tempi di addestramento più brevi.
• Tempo: Convergenza più rapida grazie alle caratteristiche già apprese.
• Rischio di overfitting: Ridotto, ma comunque presente; richiede monitoraggio.

Tecniche di affinamento del modello

I metodi di affinamento variano in base al compito e alle risorse disponibili.

1. Affinamento completo (Full Fine-Tuning)

• Descrizione: Tutti i parametri del modello pre-addestrato vengono aggiornati.
• Vantaggi: Potenziale per prestazioni più elevate sul nuovo compito.
• Svantaggi: Computazionalmente intensivo; rischio di overfitting.

2. Affinamento parziale (Selective Fine-Tuning)

• Descrizione: Solo alcuni layer vengono addestrati, altri restano congelati.
• Selezione dei layer:
  • Primi layer: Catturano caratteristiche generali; spesso congelati.
  • Layer finali: Catturano caratteristiche specifiche; tipicamente sbloccati.
• Benefici: Riduce il carico computazionale; mantiene le conoscenze generali.

3. Affinamento efficiente sui parametri (PEFT)

• Obiettivo: Ridurre il numero di parametri da addestrare.
• Tecniche:
  • Adapters:
    • Piccoli moduli inseriti nella rete.
    • Solo gli adapter vengono addestrati; i pesi originali restano fissi.
  • Low-Rank Adaptation (LoRA):
    • Introduce matrici a bassa dimensione per approssimare gli aggiornamenti dei pesi.
    • Riduce significativamente i parametri da addestrare.
  • Prompt Tuning:
    • Aggiunge prompt addestrabili in input.
    • Modifica il comportamento del modello senza cambiare i pesi originali.
• Vantaggi: Minori requisiti di memoria e calcolo.

4. Affinamento additivo

• Descrizione: Si aggiungono nuovi layer o moduli al modello.
• Addestramento: Vengono addestrati solo i componenti aggiunti.
• Casi d’uso: Quando il modello originale deve rimanere invariato.

5. Regolazione del learning rate

• Learning rate per layer:
  • Diversi layer vengono addestrati con learning rate diversi.
  • Permette un controllo più fine sull’addestramento.

Affinamento dei Large Language Models (LLMs)

LLM come GPT-3 e BERT richiedono considerazioni particolari.

1. Instruction Tuning

• Scopo: Insegnare ai modelli a seguire meglio le istruzioni umane.
• Metodo:
  • Creazione del dataset: Raccogli coppie (istruzione, risposta).
  • Addestramento: Affina il modello su questo dataset.
• Risultato: I modelli generano risposte più utili e pertinenti.

2. Reinforcement Learning from Human Feedback (RLHF)

• Scopo: Allineare le risposte del modello alle preferenze umane.
• Processo:
  1. Affinamento supervisionato:
     • Addestra il modello su un dataset con risposte corrette.
  2. Reward Modeling:
     • Gli umani classificano le uscite; un reward model impara a prevedere queste classifiche.
  3. Policy Optimization:
     • Usa il reinforcement learning per affinare il modello massimizzando le ricompense.
• Beneficio: Produce risposte più allineate ai valori umani.

3. Considerazioni per i LLM

• Risorse computazionali:
  • I LLM sono grandi; l’affinamento richiede molte risorse.
• Qualità dei dati:
  • Assicurati che i dati di affinamento siano di alta qualità per evitare bias.
• Implicazioni etiche:
  • Presta attenzione al potenziale impatto e abuso.

Considerazioni e best practice

Un affinamento di successo richiede pianificazione ed esecuzione attente.

1. Evitare l’overfitting

• Rischio: Il modello va bene sui dati di addestramento ma male su dati nuovi.
• Prevenzione:
  • Data augmentation: Aumenta la diversità del dataset.
  • Regolarizzazione: Usa dropout, weight decay.
  • Early stopping: Interrompi l’addestramento se le prestazioni di validazione peggiorano.

2. Qualità del dataset

• Importanza: Il modello affinato è tanto valido quanto i dati usati.
• Azioni:
  • Data cleaning: Rimuovi errori e incoerenze.
  • Dati bilanciati: Assicurati che tutte le classi/categorie siano rappresentate.

3. Learning rate

• Strategia: Usa learning rate più bassi per l’affinamento.
• Motivazione: Evita grandi aggiornamenti dei pesi che potrebbero cancellare le conoscenze acquisite.

4. Strategia di congelamento dei layer

• Fattori decisionali:
  • Somiglianza del compito: Compiti più simili richiedono meno aggiustamenti.
  • Dimensione dei dati: Dataset più piccoli possono beneficiare del congelamento di più layer.

5. Ottimizzazione degli iperparametri

• Approccio:
  • Sperimenta con impostazioni diverse.
  • Usa tecniche come grid search o ottimizzazione bayesiana.

6. Considerazioni etiche

• Bias ed equità:
  • Valuta gli output per la presenza di bias.
  • Usa dataset rappresentativi e diversificati.
• Privacy:
  • Assicurati che l’uso dei dati sia conforme a normative come il GDPR.
• Trasparenza:
  • Sii chiaro sulle capacità e i limiti del modello.

7. Monitoraggio e valutazione

• Scelta delle metriche:
  • Scegli metriche in linea con gli obiettivi del compito.
• Test regolari:
  • Valuta su dati non visti per misurare la generalizzazione.
• Logging e documentazione:
  • Tieni traccia dettagliata di esperimenti e risultati.

Metriche per valutare i modelli affinati

Scegliere le metriche giuste è cruciale.

Compiti di classificazione

• Accuratezza: Correttezza complessiva.
• Precisione: Predizioni positive corrette rispetto al totale delle positive.
• Recall: Predizioni positive corrette rispetto ai reali positivi.
• F1 Score: Media armonica di precisione e recall.
• Confusion Matrix: Rappresentazione visiva degli errori di previsione.

Compiti di regressione

• Mean Squared Error (MSE): Media delle differenze al quadrato.
• Mean Absolute Error (MAE): Media delle differenze assolute.
• R-squared: Quota di varianza spiegata dal modello.

Compiti di generazione linguistica

• BLEU Score: Misura la sovrapposizione del testo.
• ROUGE Score: Si concentra sul recall nella sintesi.
• Perplexity: Misura quanto bene il modello predice un campione.

Compiti di generazione di immagini

• Inception Score (IS): Valuta qualità e diversità delle immagini.
• Fréchet Inception Distance (FID): Misura la similarità tra immagini generate e reali.

Ricerche sull’affinamento dei modelli

L’affinamento dei modelli è un processo fondamentale per adattare i modelli pre-addestrati a compiti specifici, migliorando prestazioni ed efficienza. Studi recenti hanno esplorato strategie innovative per perfezionare questo processo.

1. Partial Fine-Tuning: A Successor to Full Fine-Tuning for Vision Transformers
   Questa ricerca introduce l’affinamento parziale come alternativa all’affinamento completo per i vision transformer. Lo studio evidenzia che l’affinamento parziale può aumentare sia l’efficienza che l’accuratezza. I ricercatori hanno validato diverse strategie di affinamento parziale su differenti dataset e architetture, scoprendo che alcune strategie, come il focus sui feedforward network (FFN) o sui layer di attenzione, possono superare l’affinamento completo usando meno parametri. È stata proposta una nuova metrica dell’angolo di fine-tuning per aiutare nella selezione dei layer più adatti, offrendo così un approccio flessibile e adattabile a vari scenari. Lo studio conclude che l’affinamento parziale può migliorare le prestazioni e la generalizzazione del modello con meno parametri. Leggi di più
2. LayerNorm: A Key Component in Parameter-Efficient Fine-Tuning
   Questo articolo indaga il ruolo della LayerNorm nell’affinamento efficiente sui parametri, in particolare nei modelli BERT. Gli autori hanno scoperto che la LayerNorm di output subisce cambiamenti significativi durante l’affinamento su diversi compiti NLP. Concentrandosi sull’affinamento della sola LayerNorm, sono state raggiunte prestazioni paragonabili o addirittura superiori rispetto all’affinamento completo. Lo studio ha utilizzato l’informazione di Fisher per identificare le sotto-parti critiche della LayerNorm, dimostrando che l’affinamento di una piccola porzione di LayerNorm può risolvere molti compiti NLP con perdite di prestazione minime. Leggi di più
3. Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation
   Questo studio affronta l’impatto ambientale dell’affinamento dei grandi modelli linguistici (LLM) proponendo metodi di backpropagation adattivi. L’affinamento, pur essendo efficace, è energivoro e contribuisce a una significativa impronta di carbonio. La ricerca suggerisce che le attuali tecniche di affinamento efficiente non riescono a ridurre adeguatamente il costo computazionale della backpropagation. L’articolo sottolinea la necessità di strategie adattive per mitigare l’impatto ambientale, correlando la riduzione dei FLOPs con una minore energia consumata. Leggi di più