Batch normalization

Batch normalization to przełomowa technika w uczeniu głębokim, która znacząco usprawnia proces trenowania sieci neuronowych. Wprowadzona przez Sergeya Ioffe i Christiana Szegedy w 2015 roku, rozwiązuje problem wewnętrznego przesunięcia kowariancji, czyli zmiany rozkładu aktywacji sieci podczas treningu. Niniejszy słownik wyjaśnia zawiłości batch normalization, omawiając jej mechanizmy, zastosowania i zalety w nowoczesnych modelach uczenia głębokiego.

Czym jest Batch Normalization?

Batch normalization to metoda stosowana do stabilizacji i przyspieszenia treningu sztucznych sieci neuronowych. Normalizuje wejścia każdej warstwy w sieci poprzez odpowiednie dopasowanie i skalowanie aktywacji. Proces ten polega na wyliczeniu średniej i wariancji każdej cechy w mini-batchu i wykorzystaniu tych statystyk do normalizacji aktywacji. Dzięki temu batch normalization zapewnia, że wejścia każdej warstwy zachowują stabilny rozkład, co jest kluczowe dla efektywnego treningu.

Wewnętrzne przesunięcie kowariancji

Wewnętrzne przesunięcie kowariancji to zjawisko, w którym rozkład wejść do warstwy sieci neuronowej zmienia się podczas treningu. Dzieje się tak, ponieważ parametry poprzednich warstw są aktualizowane, zmieniając aktywacje docierające do kolejnych warstw. Batch normalization łagodzi ten problem poprzez normalizowanie wejść do każdej warstwy, zapewniając spójny rozkład wejściowy i tym samym ułatwiając płynniejszy i bardziej efektywny proces uczenia.

Mechanizm działania Batch Normalization

Batch normalization, zaimplementowane jako warstwa w sieci neuronowej, wykonuje kilka operacji podczas przejścia w przód (forward pass):

1. Oblicz średnią i wariancję: Dla mini-batcha oblicz średnią ($\mu_B$) i wariancję ($\sigma_B^2$) każdej cechy.
2. Normalizuj aktywacje: Odejmij średnią od każdej aktywacji i podziel przez odchylenie standardowe, aby uzyskać aktywacje o zerowej średniej i wariancji równej jeden. Dodaje się małą stałą epsilon ($\epsilon$), by uniknąć dzielenia przez zero.
3. Skaluj i przesuwaj: Zastosuj uczące się parametry gamma ($\gamma$) i beta ($\beta$), aby przeskalować i przesunąć znormalizowane aktywacje. Dzięki temu sieć może nauczyć się optymalnej skali i przesunięcia dla wejść każdej warstwy.

Matematycznie, dla cechy $x_i$, wyrażenie to wygląda następująco:

$$ \hat{x_i} = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} $$

$$ y_i = \gamma \hat{x_i} + \beta $$

Zalety Batch Normalization

1. Przyspieszony trening: Dzięki eliminacji wewnętrznego przesunięcia kowariancji batch normalization umożliwia szybszą zbieżność i stosowanie wyższych współczynników uczenia bez ryzyka rozbieżności.
2. Zwiększona stabilność: Stabilizuje proces nauki poprzez utrzymanie spójnych rozkładów wejściowych w warstwach, co ogranicza ryzyko zanikania lub eksplozji gradientów.
3. Efekt regularizacyjny: Batch normalization wprowadza lekki efekt regularizacji, co może zmniejszyć potrzebę stosowania innych technik, takich jak dropout.
4. Mniejsza wrażliwość na inicjalizację: Zmniejsza zależność modelu od początkowych wartości wag, ułatwiając trening głębszych sieci.
5. Elastyczność: Uczące się parametry ($\gamma$) i ($\beta$) dodają elastyczność, pozwalając modelowi adaptacyjnie skalować i przesuwać wejścia.

Przykłady zastosowań

Batch normalization znajduje szerokie zastosowanie w różnych zadaniach i architekturach uczenia głębokiego, takich jak:

• Klasyfikacja obrazów: Usprawnia trenowanie konwolucyjnych sieci neuronowych (CNN), stabilizując wejścia kolejnych warstw.
• Przetwarzanie języka naturalnego (NLP): Poprawia wydajność sieci rekurencyjnych (RNN) i transformerów poprzez stabilizację rozkładów wejściowych.
• Modele generatywne: Stosowane w generatywnych sieciach przeciwstawnych (GAN) do stabilizacji trenowania generatora i dyskryminatora.

Przykład w TensorFlow

W TensorFlow batch normalization można zaimplementować przy użyciu warstwy tf.keras.layers.BatchNormalization():

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, input_shape=(784,)),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation('relu'),
    tf.keras.layers.Dense(10),
    tf.keras.layers.Activation('softmax')
])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, batch_size=32)

Przykład w PyTorch

W PyTorch batch normalization implementuje się za pomocą nn.BatchNorm1d dla warstw w pełni połączonych lub nn.BatchNorm2d dla warstw konwolucyjnych:

import torch
import torch.nn as nn

class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.fc1 = nn.Linear(784, 64)
        self.bn = nn.BatchNorm1d(64)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(64, 10)
        self.softmax = nn.Softmax(dim=1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.bn(x)
        x = self.relu(x)
        x = self.fc2(x)
        x = self.softmax(x)
        return x

model = Model()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

Batch normalization jest nieocenioną techniką dla praktyków uczenia głębokiego, eliminującą przesunięcia kowariancji i umożliwiającą szybszy, bardziej stabilny trening sieci neuronowych. Jej integracja z popularnymi frameworkami, takimi jak TensorFlow i PyTorch, sprawiła, że jest szeroko dostępna i stosowana, przynosząc znaczące ulepszenia wydajności w wielu zastosowaniach. Wraz z rozwojem sztucznej inteligencji, batch normalization pozostaje kluczowym narzędziem w optymalizacji treningu sieci neuronowych.