XGBoost

ما هو XGBoost؟

XGBoost هو خوارزمية تعلم آلي تنتمي إلى فئة التعلم التجميعي، وتحديدًا إطار التعزيز التدرجي. يستخدم أشجار القرار كنماذج أساسية ويعتمد تقنيات التنظيم لتعزيز تعميم النموذج. تم تطوير XGBoost من قبل باحثين في جامعة واشنطن، وهو مطبق بلغة ++C ويدعم لغات البرمجة مثل بايثون وR وغيرها.

هدف XGBoost

الهدف الأساسي من XGBoost هو توفير حل فعال وقابل للتوسعة لمهام تعلم الآلة. تم تصميمه لمعالجة مجموعات البيانات الكبيرة وتقديم أداء متقدم في تطبيقات متعددة، بما في ذلك الانحدار والتصنيف والترتيب. يحقق XGBoost ذلك من خلال:

• التعامل الفعال مع القيم المفقودة
• قدرات المعالجة المتوازية
• التنظيم لمنع الإفراط في التوافق

أساسيات XGBoost

التعزيز التدرجي

XGBoost هو تطبيق لفكرة التعزيز التدرجي، وهي طريقة تجمع بين تنبؤات عدة نماذج ضعيفة لصنع نموذج أقوى. تتضمن هذه التقنية تدريب النماذج بشكل متسلسل، حيث يقوم كل نموذج جديد بتصحيح الأخطاء التي ارتكبها النماذج السابقة.

أشجار القرار

في جوهر XGBoost توجد أشجار القرار. شجرة القرار هي بنية شبيهة بمخطط الانسياب، حيث يمثل كل عقدة داخلية اختبارًا لخاصية، ويمثل كل فرع ناتج هذا الاختبار، وتحمل كل عقدة نهائية تصنيفًا معينًا.

التنظيم

يتضمن XGBoost تقنيات التنظيم L1 (لاسو) وL2 (ريج) للتحكم في الإفراط في التوافق. يساعد التنظيم على معاقبة النماذج المعقدة، وبالتالي تحسين تعميم النموذج.

الميزات الرئيسية لـXGBoost

• السرعة والأداء: يشتهر XGBoost بسرعة التنفيذ والدقة العالية، مما يجعله مناسبًا لمهام تعلم الآلة واسعة النطاق.
• التعامل مع القيم المفقودة: يتعامل الخوارزمية بكفاءة مع مجموعات البيانات التي تحتوي على قيم مفقودة دون الحاجة لمعالجة مسبقة مكثفة.
• المعالجة المتوازية: يدعم XGBoost الحوسبة المتوازية والموزعة، ما يسمح بمعالجة مجموعات البيانات الكبيرة بسرعة.
• التنظيم: يتضمن تقنيات التنظيم L1 وL2 لتحسين تعميم النموذج ومنع الإفراط في التوافق.
• الحوسبة الخارجية: قادر على معالجة البيانات التي لا تتسع في الذاكرة باستخدام هياكل بيانات قائمة على القرص.