Batch Normalizace

Batch normalizace je transformační technika v hlubokém učení, která výrazně zlepšuje proces tréninku neuronových sítí. Představili ji Sergey Ioffe a Christian Szegedy v roce 2015 a řeší problém interního posunu kovariancí, což označuje změny v distribuci aktivací sítí během učení. Tento slovníkový pojem se věnuje detailům batch normalizace, jejím mechanismům, využití a výhodám v moderních modelech hlubokého učení.

Co je Batch Normalizace?

Batch normalizace je metoda používaná ke stabilizaci a urychlení tréninku umělých neuronových sítí. Normalizuje vstupy každé vrstvy v síti úpravou a škálováním aktivací. Tento proces zahrnuje výpočet průměru a rozptylu každého příznaku v mini-batchi a použití těchto statistik k normalizaci aktivací. Batch normalizace tak zajišťuje, že vstupy do každé vrstvy si udržují stabilní distribuci, což je klíčové pro efektivní učení.

Interní posun kovariancí

Interní posun kovariancí je jev, při kterém se distribuce vstupů do vrstvy neuronové sítě během tréninku mění. Tento posun vzniká, protože parametry předchozích vrstev se aktualizují a tím mění aktivace, které se dostávají do následujících vrstev. Batch normalizace tento problém zmírňuje tím, že normalizuje vstupy každé vrstvy a zajišťuje konzistentní vstupní distribuci, což napomáhá plynulejšímu a efektivnějšímu tréninku.

Mechanismus batch normalizace

Batch normalizace je implementována jako vrstva v neuronové síti a při průchodu vpřed provádí několik operací:

1. Výpočet průměru a rozptylu: Pro mini-batch se spočítá průměr ($\mu_B$) a rozptyl ($\sigma_B^2$) každého příznaku.
2. Normalizace aktivací: Od každé aktivace se odečte průměr a vydělí se směrodatnou odchylkou, čímž jsou aktivace normalizovány na nulový průměr a jednotkový rozptyl. Přidává se malá konstanta epsilon ($\epsilon$) pro zabránění dělení nulou.
3. Škálování a posun: Na normalizované aktivace se aplikují učené parametry gamma ($\gamma$) a beta ($\beta$), které umožňují síti optimálně škálovat a posouvat vstupy jednotlivých vrstev.

Matematicky lze pro příznak $x_i$ zapsat:

$$ \hat{x_i} = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} $$

$$ y_i = \gamma \hat{x_i} + \beta $$

Výhody batch normalizace

1. Urychlení učení: Tím, že řeší interní posun kovariancí, umožňuje batch normalizace rychlejší konvergenci a použití vyšších učících rychlostí bez rizika divergence.
2. Lepší stabilita: Stabilizuje trénink tím, že udržuje konzistentní distribuce vstupů napříč vrstvami, čímž snižuje riziko mizejících nebo explodujících gradientů.
3. Regularizační efekt: Batch normalizace přidává mírnou regularizaci, což může snižovat potřebu jiných technik, jako je dropout.
4. Nižší citlivost na inicializaci: Snižuje závislost modelu na počátečních hodnotách vah a usnadňuje učení hlubších sítí.
5. Flexibilita: Učené parametry ($\gamma$) a ($\beta$) přidávají flexibilitu, díky které se model dokáže adaptivně přizpůsobovat vstupům.

Případy použití a aplikace

Batch normalizace je široce používána v různých úlohách a architekturách hlubokého učení, například:

• Klasifikace obrazů: Zvyšuje efektivitu tréninku konvolučních neuronových sítí (CNN) stabilizací vstupů napříč vrstvami.
• Zpracování přirozeného jazyka (NLP): Zlepšuje výkon rekurentních neuronových sítí (RNN) a transformerů díky stabilizaci distribucí vstupů.
• Generativní modely: Používá se v generativních adversariálních sítích (GAN) pro stabilizaci tréninku generátoru i diskriminátoru.

Příklad v TensorFlow

V TensorFlow lze batch normalizaci implementovat pomocí vrstvy tf.keras.layers.BatchNormalization():

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, input_shape=(784,)),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation('relu'),
    tf.keras.layers.Dense(10),
    tf.keras.layers.Activation('softmax')
])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, batch_size=32)

Příklad v PyTorch

V PyTorch se batch normalizace implementuje pomocí nn.BatchNorm1d pro plně propojené vrstvy nebo nn.BatchNorm2d pro konvoluční vrstvy:

import torch
import torch.nn as nn

class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.fc1 = nn.Linear(784, 64)
        self.bn = nn.BatchNorm1d(64)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(64, 10)
        self.softmax = nn.Softmax(dim=1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.bn(x)
        x = self.relu(x)
        x = self.fc2(x)
        x = self.softmax(x)
        return x

model = Model()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

Batch normalizace je neocenitelnou technikou pro odborníky na hluboké učení, která řeší interní posun kovariancí a umožňuje rychlejší a stabilnější trénink neuronových sítí. Její integrace do populárních frameworků, jako jsou TensorFlow a PyTorch, ji zpřístupnila a rozšířila, což vedlo k významnému zlepšení výkonu v různých aplikacích. Jak se umělá inteligence vyvíjí, batch normalizace zůstává klíčovým nástrojem pro optimalizaci tréninku neuronových sítí.