Spätné šírenie (Backpropagation)

Spätné šírenie je algoritmus na trénovanie umelých neurónových sietí. Úpravou váh s cieľom minimalizovať chybu v predikciách zabezpečuje spätné šírenie efektívne učenie neurónových sietí. V tomto slovníkovom hesle vysvetlíme, čo je spätné šírenie, ako funguje a aké kroky zahŕňa tréning neurónovej siete.

Čo je spätné šírenie?

Spätné šírenie (angl. “backward propagation of errors”) je algoritmus učenia s učiteľom používaný na trénovanie umelých neurónových sietí. Je to metóda, ktorou neurónová sieť aktualizuje svoje váhy na základe chybovosti získanej v predchádzajúcej epoche (iterácii). Cieľom je minimalizovať chybu, kým predikcie siete nebudú čo najpresnejšie.

Ako funguje spätné šírenie?

Spätné šírenie funguje tak, že šíri chybu späť cez sieť. Tu je podrobný rozpis procesu:

1. Predný prechod

• Vstupná vrstva: Do siete sa zadávajú vstupné údaje.
• Skryté vrstvy: Dáta sa spracúvajú cez jednu alebo viac skrytých vrstiev, kde neuróny aplikujú váhy a aktivačné funkcie na generovanie výstupov.
• Výstupná vrstva: Konečný výstup je generovaný na základe váženého súčtu vstupov z poslednej skrytej vrstvy.

2. Výpočet straty

• Výpočet chyby: Výstup siete sa porovnáva so skutočnými cieľovými hodnotami na výpočet chyby (straty). Bežné stratové funkcie zahŕňajú strednú štvorcovú chybu (MSE) a krížovú entropiu.

3. Spätný prechod

• Výpočet gradientu: Gradient stratovej funkcie sa vypočíta vzhľadom na každú váhu použitím reťazového pravidla diferenciálneho počtu. Tento krok zahŕňa výpočet parciálnych derivácií straty podľa každej váhy.
• Aktualizácia váh: Váhy sa aktualizujú pomocou vypočítaných gradientov. Rýchlosť učenia, hyperparameter, určuje veľkosť kroku pri aktualizácii váh. Aktualizačné pravidlo je zvyčajne dané vzorcom:
  w_nové = w_staré – η ∂L/∂w
  kde η je rýchlosť učenia a ∂L/∂w je gradient straty (L) vzhľadom na váhu (w).

4. Iterácia

• Opakovanie: Kroky 1 až 3 sa opakujú vopred stanovený počet epoch alebo kým strata nedosiahne prijateľnú hranicu.

Tréning neurónovej siete pomocou spätného šírenia

Tréning neurónovej siete zahŕňa niekoľko kľúčových krokov:

1. Príprava dát

• Dataset: Zber a predspracovanie dátovej množiny.
• Normalizácia: Normalizácia údajov, aby všetky vstupné znaky boli na rovnakej škále.

2. Inicializácia modelu

• Architektúra: Definovanie architektúry neurónovej siete vrátane počtu vrstiev a neurónov.
• Inicializácia váh: Inicializácia váh, často malými náhodnými hodnotami.

3. Tréningová slučka

• Predný prechod: Výpočet výstupu siete.
• Výpočet straty: Výpočet straty medzi predikovanými a skutočnými výstupmi.
• Spätný prechod: Výpočet gradientov straty vzhľadom na každú váhu.
• Aktualizácia váh: Aktualizácia váh pomocou gradientov a rýchlosti učenia.
• Epócha: Opakovanie procesu počas viacerých epoch na upresnenie váh.

4. Vyhodnotenie

• Validácia: Testovanie natrénovaného modelu na samostatnej validačnej množine pre zhodnotenie jeho výkonu.
• Úpravy: Doladenie hyperparametrov ako rýchlosť učenia, veľkosť dávky a počet epoch na základe validačných výsledkov.

Princípy spätného šírenia

• Reťazové pravidlo: Základný matematický princíp, ktorý umožňuje výpočet gradientov vo viacvrstvovej sieti.
• Gradientný zostup: Optimalizačný algoritmus používaný na minimalizáciu stratovej funkcie.
• Rýchlosť učenia: Hyperparameter, ktorý určuje, o koľko sa zmení model na základe odhadovanej chyby pri každej aktualizácii váh modelu.

Referencie:

• GeeksforGeeks – Backpropagation in Neural Network
• Towards Data Science – Understanding Backpropagation Algorithm
• Wikipedia – Backpropagation
• Neptune.ai – A Comprehensive Guide to the Backpropagation Algorithm in Neural Networks