Batch Normalizácia

Batch normalizácia je transformačná technika v hlbokom učení, ktorá výrazne zlepšuje proces trénovania neurónových sietí. Bola predstavená Sergeyom Ioffe a Christianom Szegedym v roku 2015 a rieši problém vnútorného posunu kovariancie, čo je zmena distribúcie aktivácií siete počas tréningu. Tento slovníkový pojem rozoberá zložitosť batch normalizácie, skúma jej mechanizmy, aplikácie a výhody v moderných modeloch hlbokého učenia.

Čo je Batch Normalizácia?

Batch normalizácia je metóda používaná na stabilizáciu a zrýchlenie tréningu umelých neurónových sietí. Normalizuje vstupy každej vrstvy v sieti úpravou a škálovaním aktivácií. Tento proces zahŕňa výpočet priemeru a rozptylu každej vlastnosti v mini-batchi a použitie týchto štatistík na normalizáciu aktivácií. Týmto spôsobom batch normalizácia zabezpečuje, že vstupy do každej vrstvy si udržiavajú stabilné rozdelenie, čo je kľúčové pre efektívne učenie.

Vnútorný posun kovariancie

Vnútorný posun kovariancie je jav, pri ktorom sa distribúcia vstupov do vrstvy neurónovej siete mení počas tréningu. Tento posun nastáva, pretože parametre predchádzajúcich vrstiev sa aktualizujú a tým ovplyvňujú aktivácie, ktoré prichádzajú do nasledujúcich vrstiev. Batch normalizácia tento problém zmierňuje normalizovaním vstupov každej vrstvy, čím zabezpečuje konzistentné rozdelenie vstupov a tým uľahčuje plynulejší a efektívnejší tréningový proces.

Mechanizmus batch normalizácie

Batch normalizácia je implementovaná ako vrstva v neurónovej sieti a vykonáva niekoľko operácií počas forward passu:

1. Výpočet priemeru a rozptylu: Pre mini-batch sa vypočíta priemer ($\mu_B$) a rozptyl ($\sigma_B^2$) každej vlastnosti.
2. Normalizácia aktivácií: Od každej aktivácie sa odpočíta priemer a vydelí sa štandardnou odchýlkou, čím sa zabezpečí, že normalizované aktivácie majú nulový priemer a jednotkový rozptyl. Pridáva sa malá konštanta epsilon ($\epsilon$), aby sa predišlo deleniu nulou.
3. Škálovanie a posun: Aplikujú sa naučiteľné parametre gama ($\gamma$) a beta ($\beta$) na škálovanie a posun normalizovaných aktivácií. To umožňuje sieti naučiť sa optimálne škálovanie a posun pre vstupy každej vrstvy.

Matematicky, pre vlastnosť $x_i$, je to vyjadrené ako:

$$ \hat{x_i} = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} $$

$$ y_i = \gamma \hat{x_i} + \beta $$

Výhody batch normalizácie

1. Zrýchlený tréning: Riešením vnútorného posunu kovariancie umožňuje batch normalizácia rýchlejšiu konvergenciu a použitie vyšších učebných rýchlostí bez rizika divergencie.
2. Zlepšená stabilita: Stabilizuje proces učenia udržiavaním konzistentných distribúcií vstupov naprieč vrstvami, čím znižuje riziko miznúcich alebo explodujúcich gradientov.
3. Regularizačný efekt: Batch normalizácia vnáša miernu regularizáciu, čo môže znížiť potrebu iných techník ako dropout.
4. Znížená citlivosť na inicializáciu: Znižuje závislosť modelu od počiatočných hodnôt váh, čo uľahčuje tréning hlbších sietí.
5. Flexibilita: Naučiteľné parametre ($\gamma$ a $\beta$) pridávajú flexibilitu, umožňujúcu modelu adaptívne škálovať a posúvať vstupy.

Príklady použitia a aplikácie

Batch normalizácia sa široko využíva v rôznych úlohách a architektúrach hlbokého učenia, vrátane:

• Klasifikácia obrázkov: Zlepšuje tréning konvolučných neurónových sietí (CNN) stabilizovaním vstupov naprieč vrstvami.
• Spracovanie prirodzeného jazyka (NLP): Zvyšuje výkon rekurentných neurónových sietí (RNN) a transformátorov stabilizovaním distribúcie vstupov.
• Generatívne modely: Používa sa v generatívnych adversariálnych sieťach (GAN) na stabilizáciu tréningu generátora aj diskriminátora.

Príklad v TensorFlow

V TensorFlow je možné batch normalizáciu implementovať pomocou vrstvy tf.keras.layers.BatchNormalization():

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, input_shape=(784,)),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation('relu'),
    tf.keras.layers.Dense(10),
    tf.keras.layers.Activation('softmax')
])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, batch_size=32)

Príklad v PyTorch

V PyTorch sa batch normalizácia implementuje pomocou nn.BatchNorm1d pre plne prepojené vrstvy alebo nn.BatchNorm2d pre konvolučné vrstvy:

import torch
import torch.nn as nn

class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.fc1 = nn.Linear(784, 64)
        self.bn = nn.BatchNorm1d(64)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(64, 10)
        self.softmax = nn.Softmax(dim=1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.bn(x)
        x = self.relu(x)
        x = self.fc2(x)
        x = self.softmax(x)
        return x

model = Model()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

Batch normalizácia je neoceniteľnou technikou pre odborníkov na hlboké učenie, rieši vnútorné posuny kovariancie a uľahčuje rýchlejší a stabilnejší tréning neurónových sietí. Jej integrácia do populárnych frameworkov ako TensorFlow a PyTorch ju sprístupnila a rozšírila, čo viedlo k významným zlepšeniam výkonu naprieč rôznymi aplikáciami. Ako sa umelá inteligencia vyvíja, batch normalizácia zostáva kľúčovým nástrojom pre optimalizáciu tréningu neurónových sietí.