المساحة تحت المنحنى (AUC)

المساحة تحت المنحنى (AUC) هي مقياس أساسي في تعلم الآلة يُستخدم لتقييم أداء نماذج التصنيف الثنائي. يُحدد القدرة الكلية للنموذج على التمييز بين الفئات الإيجابية والسلبية، من خلال حساب المساحة تحت منحنى خاصية التشغيل المستقبلية (ROC). يُعد منحنى ROC رسمًا بيانيًا يوضح قدرة نظام التصنيف الثنائي على التمييز عند تغيير عتبة التمييز الخاصة به. تتراوح قيم AUC من 0 إلى 1، حيث تشير القيمة الأعلى إلى أداء أفضل للنموذج.

منحنى خاصية التشغيل المستقبلية (ROC)

منحنى ROC هو رسم بياني لمعدل الإيجابيات الحقيقية (TPR) مقابل معدل الإيجابيات الكاذبة (FPR) عند إعدادات عتبة مختلفة. يوفر تمثيلًا بصريًا لأداء النموذج عبر جميع عتبات التصنيف الممكنة، مما يمكّن من تحديد العتبة المثلى لتحقيق التوازن بين الحساسية والنوعية.

المكونات الرئيسية لمنحنى ROC:

• معدل الإيجابيات الحقيقية (TPR): يُعرف أيضًا بالحساسية أو الاسترجاع، ويُحسب كالتالي: TP / (TP + FN)، حيث TP تمثل الإيجابيات الحقيقية وFN تمثل السلبيات الكاذبة.
• معدل الإيجابيات الكاذبة (FPR): يُحسب كالتالي: FP / (FP + TN)، حيث FP تمثل الإيجابيات الكاذبة وTN تمثل السلبيات الحقيقية.

أهمية AUC

يُعد AUC مهمًا لأنه يوفر قيمة عددية واحدة تلخص أداء النموذج عبر جميع العتبات. يكون مفيدًا بشكل خاص عند مقارنة أداء نماذج أو مصنفات مختلفة. كما أن AUC قوي في مواجهة اختلال التوازن بين الفئات، مما يجعله مقياسًا مفضلًا عن الدقة في العديد من الحالات.

تفسيرات AUC:

• AUC = 1: النموذج يميز بشكل مثالي بين الفئات الإيجابية والسلبية.
• 0.5 < AUC < 1: لدى النموذج قدرة على التمييز بين الفئات أفضل من التخمين العشوائي.
• AUC = 0.5: أداء النموذج لا يتجاوز التخمين العشوائي.
• AUC < 0.5: أداء النموذج أسوأ من التخمين العشوائي، مما قد يشير إلى عكس تصنيفات الفئات.

الأساس الرياضي لـ AUC

يشير AUC إلى احتمال أن يتم تصنيف عينة إيجابية عشوائية أعلى من عينة سلبية عشوائية. رياضيًا، يمكن تمثيله كتكامل لمعدل الإيجابيات الحقيقية كدالة لمعدل الإيجابيات الكاذبة.

حالات الاستخدام والأمثلة

تصنيف البريد المزعج

يمكن استخدام AUC لتقييم أداء مصنف رسائل البريد المزعج، وتحديد مدى قدرة المصنف على ترتيب الرسائل المزعجة أعلى من الرسائل غير المزعجة. يشير AUC بقيمة 0.9 إلى احتمال مرتفع بأن تصنف الرسائل المزعجة أعلى من غير المزعجة.

التشخيص الطبي

في سياق التشخيص الطبي، يقيس AUC مدى فعالية النموذج في التمييز بين المرضى المصابين وغير المصابين بالمرض. يشير AUC المرتفع إلى أن النموذج يحدد المرضى المصابين كإيجابيين والأصحاء كسلبين بشكل موثوق.

اكتشاف الاحتيال

يُستخدم AUC في اكتشاف الاحتيال لتقييم قدرة النموذج على تصنيف المعاملات الاحتيالية بشكل صحيح كاحتيال والمعاملات السليمة كسليمة. يشير AUC المرتفع إلى دقة عالية في اكتشاف الاحتيال.

عتبة التصنيف

عتبة التصنيف هي جانب حاسم عند استخدام منحنى ROC وAUC. فهي تحدد النقطة التي يصنف فيها النموذج العينة كإيجابية أو سلبية. يؤثر تعديل العتبة على TPR وFPR، وبالتالي على أداء النموذج. يوفر AUC مقياسًا شاملاً من خلال أخذ جميع العتبات الممكنة في الاعتبار.

منحنى الدقة-الاسترجاع

بينما يكون منحنى AUC-ROC فعالًا لمجموعات البيانات المتوازنة، يكون منحنى الدقة-الاسترجاع (PR) أكثر ملاءمة للمجموعات غير المتوازنة. تقيس الدقة مدى صحة التنبؤات الإيجابية، بينما يقيس الاسترجاع (المشابه لـ TPR) مدى تغطية الإيجابيات الفعلية. توفر المساحة تحت منحنى PR مقياسًا أكثر إفادة في حالات توزيع الفئات غير المتساوي.

اعتبارات عملية

• مجموعات البيانات المتوازنة: يكون منحنى AUC-ROC أكثر فعالية عند توازن الفئات.
• مجموعات البيانات غير المتوازنة: بالنسبة للمجموعات غير المتوازنة، يُفضل استخدام منحنى الدقة-الاسترجاع.
• اختيار المقياس المناسب: بناءً على مجال المشكلة وتكلفة الإيجابيات الكاذبة مقابل السلبيات الكاذبة، قد تكون هناك مقاييس أخرى أكثر ملاءمة.