تسوية الدُفعات (Batch Normalization)

تسوية الدُفعات هي تقنية ثورية في مجال التعلم العميق تعزز بشكل كبير عملية تدريب الشبكات العصبية. تم تقديمها من قبل سيرجي إيوفه وكريستيان سيغيدي في عام 2015، حيث تعالج مشكلة التحول التغايري الداخلي، والذي يشير إلى التغيرات في توزيع تنشيطات الشبكة أثناء التدريب. تتناول هذه المقالة تفاصيل تسوية الدُفعات، وآلية عملها، وتطبيقاتها، ومزاياها في نماذج التعلم العميق الحديثة.

ما هي تسوية الدُفعات؟

تسوية الدُفعات هي طريقة تُستخدم لتثبيت وتسريع تدريب الشبكات العصبية الاصطناعية. حيث تقوم بتطبيع مدخلات كل طبقة في الشبكة عن طريق تعديل وتقييس التنشيطات. تتضمن هذه العملية حساب المتوسط والانحراف المعياري لكل ميزة في كل دُفعة صغيرة واستخدام هذه الإحصائيات لتطبيع التنشيطات. من خلال ذلك، تضمن تسوية الدُفعات أن مدخلات كل طبقة تحافظ على توزيع ثابت، وهو أمر بالغ الأهمية للتدريب الفعّال.

التحول التغايري الداخلي

التحول التغايري الداخلي هو ظاهرة يتغير فيها توزيع المدخلات إلى طبقة من طبقات الشبكة العصبية أثناء التدريب. يحدث هذا التحول بسبب تحديث معاملات الطبقات السابقة، مما يغيّر التنشيطات التي تصل إلى الطبقات اللاحقة. تسوية الدُفعات تقلل هذه المشكلة من خلال تطبيع مدخلات كل طبقة، ما يضمن توزيعاً ثابتاً للمدخلات وبالتالي يسهل عملية تدريب أكثر سلاسة وكفاءة.

آلية تسوية الدُفعات

يتم تنفيذ تسوية الدُفعات كطبقة ضمن الشبكة العصبية، حيث تقوم بعدة عمليات أثناء المرور الأمامي:

1. حساب المتوسط والانحراف المعياري: لكل دُفعة صغيرة، يتم حساب المتوسط ($\mu_B$) والانحراف المعياري ($\sigma_B^2$) لكل ميزة.
2. تطبيع التنشيطات: يُطرح المتوسط من كل تنشيط ويُقسم على الانحراف المعياري، لضمان أن التنشيطات المطَبَّعة لها متوسط صفري وانحراف معياري يساوي واحد. تُضاف قيمة صغيرة ($\epsilon$) لتجنب القسمة على صفر.
3. التحجيم والإزاحة: تُطبق معاملات قابلة للتعلم ($\gamma$) و($\beta$) لتقييس وإزاحة التنشيطات المطَبَّعة. هذا يسمح للشبكة بتعلم أفضل تقييس وإزاحة لمدخلات كل طبقة.

رياضياً، لميزة $x_i$، يتم التعبير عن ذلك كالتالي:

$$ \hat{x_i} = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} $$

$$ y_i = \gamma \hat{x_i} + \beta $$

مزايا تسوية الدُفعات

1. تسريع التدريب: من خلال معالجة التحول التغايري الداخلي، تتيح تسوية الدُفعات تقارباً أسرع وإمكانية استخدام معدلات تعلم أعلى دون خطر الانحراف.
2. تحسين الاستقرار: تثبت عملية التدريب عبر الحفاظ على توزيعات مدخلات متسقة بين الطبقات، مما يقلل من مخاطر تلاشي أو انفجار القيم.
3. تأثير تنظيمي: تسوية الدُفعات تضيف نوعاً من التنظيم، وقد تقلل الحاجة لتقنيات تنظيمية أخرى مثل الإسقاط (dropout).
4. تقليل الحساسية للتهيئة: تقلل اعتماد النموذج على قيم الأوزان الأولية، مما يسهل تدريب الشبكات الأعمق.
5. مرونة: المعاملات القابلة للتعلم ($\gamma$) و($\beta$) تضيف مرونة، مما يمكّن النموذج من تقييس وإزاحة المدخلات بشكل متكيف.

حالات الاستخدام والتطبيقات

تُستخدم تسوية الدُفعات على نطاق واسع في العديد من مهام وهياكل التعلم العميق، بما في ذلك:

• تصنيف الصور: تعزز تدريب الشبكات العصبية الالتفافية (CNNs) عبر تثبيت المدخلات بين الطبقات.
• معالجة اللغة الطبيعية (NLP): تحسن أداء الشبكات العصبية المتكررة (RNNs) والمحولات عبر تثبيت توزيع المدخلات.
• النماذج التوليدية: تُستخدم في الشبكات التوليدية التنافسية (GANs) لتثبيت تدريب كل من المولد والمميز.

مثال في TensorFlow

في TensorFlow، يمكن تنفيذ تسوية الدُفعات باستخدام الطبقة tf.keras.layers.BatchNormalization():

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, input_shape=(784,)),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation('relu'),
    tf.keras.layers.Dense(10),
    tf.keras.layers.Activation('softmax')
])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, batch_size=32)

مثال في PyTorch

في PyTorch، يتم تنفيذ تسوية الدُفعات باستخدام nn.BatchNorm1d للطبقات الكاملة التوصيل أو nn.BatchNorm2d للطبقات الالتفافية:

import torch
import torch.nn as nn

class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.fc1 = nn.Linear(784, 64)
        self.bn = nn.BatchNorm1d(64)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(64, 10)
        self.softmax = nn.Softmax(dim=1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.bn(x)
        x = self.relu(x)
        x = self.fc2(x)
        x = self.softmax(x)
        return x

model = Model()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

تسوية الدُفعات هي تقنية لا غنى عنها لممارسي التعلم العميق، حيث تعالج التحولات التغايرية الداخلية وتُسهل تدريباً أسرع وأكثر استقراراً للشبكات العصبية. وقد أدى دمجها في أطر العمل الشهيرة مثل TensorFlow وPyTorch إلى جعلها متاحة ومستخدمة على نطاق واسع، مما أدى إلى تحسينات ملحوظة في الأداء عبر مجموعة متنوعة من التطبيقات. ومع تطور الذكاء الاصطناعي، تظل تسوية الدُفعات أداة أساسية لتحسين تدريب الشبكات العصبية.