Batch-normalisatie

Batch-normalisatie is een transformerende techniek in deep learning die het trainingsproces van neurale netwerken aanzienlijk verbetert. Geïntroduceerd door Sergey Ioffe en Christian Szegedy in 2015, pakt het het probleem van interne covariate shift aan, wat verwijst naar de veranderingen in de verdeling van netwerkinactivaties tijdens de training. Deze woordenlijstbijdrage gaat dieper in op de details van batch-normalisatie en verkent de mechanismen, toepassingen en voordelen in moderne deep learning-modellen.

Wat is Batch-normalisatie?

Batch-normalisatie is een methode die wordt gebruikt om de training van kunstmatige neurale netwerken te stabiliseren en te versnellen. Het normaliseert de input van elke laag in een netwerk door de activaties aan te passen en te schalen. Dit proces houdt in dat het gemiddelde en de variantie van elk kenmerk in een mini-batch worden berekend en dat deze statistieken worden gebruikt om de activaties te normaliseren. Op deze manier zorgt batch-normalisatie ervoor dat de input naar elke laag een stabiele verdeling behoudt, wat cruciaal is voor effectieve training.

Interne Covariate Shift

De interne covariate shift is een fenomeen waarbij de verdeling van input naar een laag van een neuraal netwerk verandert tijdens het trainen. Deze verschuiving ontstaat doordat de parameters van eerdere lagen worden bijgewerkt, waardoor de activaties die de volgende lagen bereiken veranderen. Batch-normalisatie beperkt dit probleem door de input van elke laag te normaliseren, waardoor een consistente invoerverdeling wordt gewaarborgd en het trainingsproces soepeler en efficiënter verloopt.

Mechanisme van Batch-normalisatie

Geïmplementeerd als een laag binnen een neuraal netwerk voert batch-normalisatie tijdens de forward pass verschillende bewerkingen uit:

1. Gemiddelde en variantie berekenen: Bereken voor de mini-batch het gemiddelde ($\mu_B$) en de variantie ($\sigma_B^2$) van elk kenmerk.
2. Activaties normaliseren: Trek het gemiddelde af van elke activatie en deel door de standaardafwijking, zodat de genormaliseerde activaties een gemiddelde van nul en een variantie van één hebben. Een kleine constante epsilon ($\epsilon$) wordt toegevoegd om deling door nul te voorkomen.
3. Schalen en verschuiven: Pas leerbare parameters gamma ($\gamma$) en beta ($\beta$) toe om de genormaliseerde activaties te schalen en te verschuiven. Hierdoor kan het netwerk de optimale schaal en verschuiving voor de input van elke laag leren.

Wiskundig wordt dit voor een kenmerk $x_i$ als volgt uitgedrukt:

$$ \hat{x_i} = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} $$

$$ y_i = \gamma \hat{x_i} + \beta $$

Voordelen van Batch-normalisatie

1. Versnelde training: Door de interne covariate shift aan te pakken, zorgt batch-normalisatie voor snellere convergentie en kunnen hogere leersnelheden worden gebruikt zonder het risico van divergentie.
2. Verbeterde stabiliteit: Het stabiliseert het trainingsproces door consistente invoerverdelingen over de lagen te behouden, waardoor het risico op verdwijnende of exploderende gradiënten wordt verminderd.
3. Regularisatie-effect: Batch-normalisatie introduceert een licht regularisatie-effect, waardoor mogelijk minder behoefte is aan andere technieken zoals dropout.
4. Verminderde gevoeligheid voor initialisatie: Het vermindert de afhankelijkheid van het model van de initiële gewichtswaarden, waardoor de training van diepere netwerken wordt vergemakkelijkt.
5. Flexibiliteit: De leerbare parameters ($\gamma$) en ($\beta$) voegen flexibiliteit toe, waardoor het model input adaptief kan schalen en verschuiven.

Toepassingen en Use-cases

Batch-normalisatie wordt veelvuldig gebruikt bij diverse deep learning-taken en -architecturen, waaronder:

• Beeldclassificatie: Verbetert de training van convolutionele neurale netwerken (CNN’s) door de input over de lagen te stabiliseren.
• Natural Language Processing (NLP): Verhoogt de prestaties van recurrente neurale netwerken (RNN’s) en transformers door de invoerverdelingen te stabiliseren.
• Generatieve modellen: Wordt gebruikt in generative adversarial networks (GAN’s) om de training van zowel generator- als discriminatornetwerken te stabiliseren.

Voorbeeld in TensorFlow

In TensorFlow kan batch-normalisatie worden geïmplementeerd met de tf.keras.layers.BatchNormalization() laag:

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, input_shape=(784,)),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation('relu'),
    tf.keras.layers.Dense(10),
    tf.keras.layers.Activation('softmax')
])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, batch_size=32)

Voorbeeld in PyTorch

In PyTorch wordt batch-normalisatie geïmplementeerd met nn.BatchNorm1d voor volledig verbonden lagen of nn.BatchNorm2d voor convolutionele lagen:

import torch
import torch.nn as nn

class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.fc1 = nn.Linear(784, 64)
        self.bn = nn.BatchNorm1d(64)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(64, 10)
        self.softmax = nn.Softmax(dim=1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.bn(x)
        x = self.relu(x)
        x = self.fc2(x)
        x = self.softmax(x)
        return x

model = Model()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

Batch-normalisatie is een onmisbare techniek voor deep learning-beoefenaars, die interne covariate shifts aanpakt en snellere, stabielere training van neurale netwerken mogelijk maakt. De integratie in populaire frameworks zoals TensorFlow en PyTorch heeft het toegankelijk en breed toepasbaar gemaakt, wat leidt tot aanzienlijke prestatieverbeteringen bij uiteenlopende toepassingen. Naarmate kunstmatige intelligentie zich verder ontwikkelt, blijft batch-normalisatie een essentieel hulpmiddel voor het optimaliseren van de training van neurale netwerken.