Discesa del Gradiente
La Discesa del Gradiente è un algoritmo di ottimizzazione fondamentale ampiamente utilizzato nel machine learning e nel deep learning per minimizzare le funzion...
6 min di lettura
Machine Learning
Deep Learning
+3
La retropropagazione è un algoritmo per l’addestramento delle reti neurali artificiali. Regolando i pesi per minimizzare l’errore nelle previsioni, la retropropagazione garantisce che le reti neurali apprendano in modo efficiente. In questa voce di glossario, spiegheremo cos’è la retropropagazione, come funziona e illustreremo i passaggi coinvolti nell’addestramento di una rete neurale.
Cos’è la Retropropagazione?
La retropropagazione, abbreviazione di “propagazione all’indietro degli errori”, è un algoritmo di apprendimento supervisionato utilizzato per addestrare le reti neurali artificiali. È il metodo con cui la rete neurale aggiorna i suoi pesi sulla base del tasso di errore ottenuto nell’epoca (iterazione) precedente. L’obiettivo è minimizzare l’errore fino a quando le previsioni della rete non sono il più accurate possibile.
Come Funziona la Retropropagazione?
La retropropagazione funziona propagando l’errore all’indietro attraverso la rete. Ecco una suddivisione passo passo del processo:
1. Passaggio in Avanti
- Strato di input: I dati di input vengono inseriti nella rete.
- Strati nascosti: I dati vengono elaborati attraverso uno o più strati nascosti, dove i neuroni applicano pesi e funzioni di attivazione per generare gli output.
- Strato di output: L’output finale viene generato in base alla somma pesata degli input provenienti dall’ultimo strato nascosto.
2. Calcolo della Perdita
- Calcolo dell’errore: L’output della rete viene confrontato con i valori target reali per calcolare l’errore (perdita). Le funzioni di perdita comuni includono l’Errore Quadratico Medio (MSE) e la Perdita di Entropia Incrociata.
3. Passaggio all’Indietro
- Calcolo del gradiente: Il gradiente della funzione di perdita viene calcolato rispetto a ciascun peso applicando la regola della catena del calcolo differenziale. Questo passaggio prevede il calcolo delle derivate parziali della perdita rispetto a ciascun peso.
- Aggiornamento dei pesi: I pesi vengono aggiornati utilizzando i gradienti calcolati. Il tasso di apprendimento, un iperparametro, determina l’ampiezza del passo con cui aggiornare i pesi. La regola di aggiornamento è solitamente data da:
wnuovo = wvecchio – η ∂L/∂w
dove η è il tasso di apprendimento e ∂L/∂w è il gradiente della perdita (L) rispetto al peso (w).
4. Iterazione
- Ripeti: I passaggi da 1 a 3 vengono ripetuti per un numero predefinito di epoche o fino a quando la perdita non raggiunge una soglia accettabile.
Pronto a far crescere il tuo business?
Inizia oggi la tua prova gratuita e vedi i risultati in pochi giorni.
Addestramento di una Rete Neurale con la Retropropagazione
L’addestramento di una rete neurale coinvolge diversi passaggi chiave:
1. Preparazione dei Dati
- Dataset: Raccogli e pre-elabora il dataset.
- Normalizzazione: Normalizza i dati per garantire che tutte le caratteristiche di input siano sulla stessa scala.
2. Inizializzazione del Modello
- Architettura: Definisci l’architettura della rete neurale, incluso il numero di strati e di neuroni.
- Inizializzazione dei pesi: Inizializza i pesi, spesso con piccoli valori casuali.
3. Ciclo di Addestramento
- Passaggio in avanti: Calcola l’output della rete.
- Calcolo della perdita: Calcola la perdita tra gli output previsti e quelli reali.
- Passaggio all’indietro: Calcola i gradienti della perdita rispetto a ciascun peso.
- Aggiornamento dei pesi: Aggiorna i pesi usando i gradienti e il tasso di apprendimento.
- Epoca: Ripeti il processo per più epoche per perfezionare i pesi.
4. Valutazione
- Validazione: Testa il modello addestrato su un dataset di validazione separato per valutarne le prestazioni.
- Regolazioni: Ottimizza iperparametri come tasso di apprendimento, dimensione del batch ed epoche in base ai risultati di validazione.
Principi della Retropropagazione
- Regola della catena: Il principio matematico fondamentale che consente il calcolo dei gradienti in una rete multilivello.
- Discesa del gradiente: Un algoritmo di ottimizzazione utilizzato per minimizzare la funzione di perdita.
- Tasso di apprendimento: Un iperparametro che controlla quanto modificare il modello in risposta all’errore stimato ogni volta che i pesi del modello vengono aggiornati.
Riferimenti: