Backpropagare

Backpropagarea este un algoritm pentru antrenarea rețelelor neuronale artificiale. Prin ajustarea ponderilor pentru a minimiza eroarea în predicții, backpropagarea asigură că rețelele neuronale învață eficient. În această intrare din glosar vom explica ce este backpropagarea, cum funcționează și vom prezenta pașii implicați în antrenarea unei rețele neuronale.

Ce este Backpropagarea?

Backpropagarea, prescurtare de la „propagarea înapoi a erorilor”, este un algoritm de învățare supervizată folosit pentru antrenarea rețelelor neuronale artificiale. Este metoda prin care rețeaua neuronală își actualizează ponderile pe baza ratei de eroare obținute în epoca (iterația) anterioară. Scopul este să minimizeze eroarea până când predicțiile rețelei devin cât mai precise.

Cum funcționează Backpropagarea?

Backpropagarea funcționează propagând eroarea înapoi prin rețea. Iată o defalcare pas cu pas a procesului:

1. Trecerea înainte

• Stratul de intrare: Datele de intrare sunt introduse în rețea.
• Straturi ascunse: Datele sunt procesate prin unul sau mai multe straturi ascunse, unde neuronii aplică ponderi și funcții de activare pentru a genera ieșiri.
• Stratul de ieșire: Ieșirea finală este generată pe baza sumei ponderate a intrărilor din ultimul strat ascuns.

2. Calculul pierderii

• Calculul erorii: Ieșirea rețelei este comparată cu valorile reale ale țintei pentru a calcula eroarea (pierderea). Funcțiile de pierdere comune includ Eroarea Medie Pătratică (MSE) și Pierderea prin Entropie Încrucișată.

3. Trecerea înapoi

• Calculul gradientului: Gradientul funcției de pierdere este calculat față de fiecare pondere prin aplicarea regulii lanțului din calculul diferențial. Acest pas implică calculul derivatelor parțiale ale pierderii față de fiecare pondere.
• Actualizarea ponderilor: Ponderile sunt actualizate folosind gradientele calculate. Rata de învățare, un hiperparametru, determină cât de mare este pasul de actualizare al ponderilor. Regula de actualizare este de obicei dată de:
  w_nou = w_vechi – η ∂L/∂w
  unde η este rata de învățare și ∂L/∂w este gradientul pierderii (L) față de ponderea (w).

4. Iterație

• Repetare: Pașii 1 până la 3 se repetă pentru un număr predefinit de epoci sau până când pierderea ajunge la un prag acceptabil.

Antrenarea unei Rețele Neuronale folosind Backpropagarea

Antrenarea unei rețele neuronale implică mai mulți pași cheie:

1. Pregătirea datelor

• Set de date: Colectează și preprocesează setul de date.
• Normalizare: Normalizează datele pentru a te asigura că toate caracteristicile de intrare sunt pe aceeași scară.

2. Inițializarea modelului

• Arhitectură: Definește arhitectura rețelei neuronale, inclusiv numărul de straturi și neuroni.
• Inițializarea ponderilor: Inițializează ponderile, de obicei cu valori mici aleatorii.

3. Bucla de antrenare

• Trecerea înainte: Calculează ieșirea rețelei.
• Calculul pierderii: Calculează pierderea dintre ieșirile prezise și cele reale.
• Trecerea înapoi: Calculează gradientele pierderii față de fiecare pondere.
• Actualizarea ponderilor: Actualizează ponderile folosind gradientele și rata de învățare.
• Epocă: Repetă procesul pentru mai multe epoci pentru a rafina ponderile.

4. Evaluare

• Validare: Testează modelul antrenat pe un set de date de validare separat pentru a-i evalua performanța.
• Ajustări: Ajustează hiperparametri precum rata de învățare, dimensiunea batch-ului și numărul de epoci pe baza rezultatelor validării.

Principiile Backpropagării

• Regula lanțului: Principiul matematic de bază care permite calculul gradientelor într-o rețea cu mai multe straturi.
• Descendența gradientului: Un algoritm de optimizare folosit pentru a minimiza funcția de pierdere.
• Rata de învățare: Un hiperparametru care controlează cât de mult să fie modificat modelul ca răspuns la eroarea estimată de fiecare dată când se actualizează ponderile modelului.

Referințe:

• GeeksforGeeks – Backpropagation in Neural Network
• Wikipedia – Backpropagation
• Neptune.ai – A Comprehensive Guide to the Backpropagation Algorithm in Neural Networks