الانحدار التدرجي
الانحدار التدرجي هو خوارزمية تحسين أساسية تُستخدم على نطاق واسع في تعلم الآلة والتعلم العميق لتقليل دوال التكلفة أو الخسارة عن طريق تعديل معلمات النموذج بشكل تك...
5 دقيقة قراءة
Machine Learning
Deep Learning
+3
الانتشار العكسي هو خوارزمية لتدريب الشبكات العصبية الاصطناعية. من خلال تعديل الأوزان لتقليل الخطأ في التنبؤات، يضمن الانتشار العكسي أن تتعلم الشبكات العصبية بكفاءة. في هذا المدخل من القاموس، سنشرح ما هو الانتشار العكسي، وكيف يعمل، ونوضح الخطوات المتبعة في تدريب الشبكة العصبية.
ما هو الانتشار العكسي؟
الانتشار العكسي، ويُختصر بـ “النشر العكسي للأخطاء”، هو خوارزمية تعلم مراقب تُستخدم لتدريب الشبكات العصبية الاصطناعية. وهو الطريقة التي تقوم بها الشبكة العصبية بتحديث أوزانها بناءً على معدل الخطأ الذي تم الحصول عليه في الحقبة (التكرار) السابقة. الهدف هو تقليل الخطأ حتى تصبح تنبؤات الشبكة دقيقة قدر الإمكان.
كيف يعمل الانتشار العكسي؟
يعمل الانتشار العكسي عن طريق نشر الخطأ للخلف عبر الشبكة. إليك شرحًا خطوة بخطوة للعملية:
1. التمرير الأمامي
- طبقة الإدخال: يتم إدخال بيانات الإدخال إلى الشبكة.
- الطبقات المخفية: تتم معالجة البيانات عبر طبقة أو أكثر من الطبقات المخفية، حيث تطبق الخلايا العصبية الأوزان ودوال التفعيل لإنتاج المخرجات.
- طبقة الإخراج: يتم إنتاج المخرجات النهائية بناءً على المجموع الموزون للمدخلات من الطبقة المخفية الأخيرة.
2. حساب الخسارة
- حساب الخطأ: تتم مقارنة مخرجات الشبكة بالقيم المستهدفة الفعلية لحساب الخطأ (الخسارة). من دوال الخسارة الشائعة متوسط مربع الخطأ (MSE) وخسارة الانتروبيا التقاطعية.
3. التمرير الخلفي
- حساب التدرج: يتم حساب تدرج دالة الخسارة بالنسبة لكل وزن عبر تطبيق قاعدة السلسلة في التفاضل. تتضمن هذه الخطوة حساب المشتقات الجزئية للخسارة بالنسبة لكل وزن.
- تحديث الأوزان: يتم تحديث الأوزان باستخدام التدرجات التي تم حسابها. يحدد معدل التعلم، وهو متغير فائق، حجم الخطوة لتحديث الأوزان. عادةً ما يُعطى قانون التحديث كالتالي:
wnew = wold – η ∂L/∂w
حيث η هو معدل التعلم و*∂L/∂w* هو تدرج الخسارة (L) بالنسبة للوزن (w).
4. التكرار
- إعادة التكرار: يتم تكرار الخطوات من 1 إلى 3 لعدد محدد مسبقًا من العصور أو حتى تصل الخسارة إلى عتبة مقبولة.
هل أنت مستعد لتنمية عملك؟
ابدأ تجربتك المجانية اليوم وشاهد النتائج في غضون أيام.
تدريب شبكة عصبية باستخدام الانتشار العكسي
يتضمن تدريب الشبكة العصبية عدة خطوات رئيسية:
1. تجهيز البيانات
- مجموعة البيانات: جمع البيانات ومعالجتها مسبقًا.
- التطبيع: تطبيع البيانات لضمان أن جميع ميزات الإدخال تقع ضمن نفس النطاق.
2. تهيئة النموذج
- البنية: تحديد بنية الشبكة العصبية، بما في ذلك عدد الطبقات والخلايا العصبية.
- تهيئة الأوزان: تهيئة الأوزان غالبًا بقيم عشوائية صغيرة.
3. حلقة التدريب
- التمرير الأمامي: حساب مخرجات الشبكة.
- حساب الخسارة: حساب الخسارة بين المخرجات المتوقعة والفعلية.
- التمرير الخلفي: حساب تدرجات الخسارة بالنسبة لكل وزن.
- تحديث الأوزان: تحديث الأوزان باستخدام التدرجات ومعدل التعلم.
- العصر: تكرار العملية لعدة عصور لتحسين الأوزان.
4. التقييم
- التحقق: اختبار النموذج المدرب على مجموعة تحقق منفصلة لتقييم الأداء.
- الضبط: ضبط المتغيرات الفائقة مثل معدل التعلم، حجم الدفعة، وعدد العصور بناءً على نتائج التحقق.
مبادئ الانتشار العكسي
- قاعدة السلسلة: المبدأ الرياضي الأساسي الذي يسمح بحساب التدرجات في شبكة متعددة الطبقات.
- انحدار التدرج: خوارزمية تحسين تُستخدم لتقليل دالة الخسارة.
- معدل التعلم: متغير فائق يتحكم في مقدار التغيير في النموذج استجابةً للخطأ المقدّر في كل مرة يتم فيها تحديث الأوزان.
المراجع:
