التحيز
استكشف التحيز في الذكاء الاصطناعي: تعرف على مصادره، تأثيره على تعلم الآلة، أمثلة واقعية، واستراتيجيات التخفيف لبناء أنظمة ذكاء اصطناعي عادلة وموثوقة....
9 دقيقة قراءة
AI
Bias
+4
التعلم الآلي الخصومي هو دراسة الهجمات التي تجعل نماذج الذكاء الاصطناعي تنتج مخرجات غير صحيحة أو غير آمنة أو غير مقصودة من خلال التلاعب المتعمد بمدخلاتها. وهو يشمل كلاً من تقنيات الهجوم التي تستغل ثغرات النموذج والأساليب الدفاعية التي تجعل النماذج أكثر قوة ضدها.
مشهد التعلم الآلي الخصومي
ظهر التعلم الآلي الخصومي من أبحاث الرؤية الحاسوبية في أوائل عام 2010، عندما اكتشف الباحثون أن إضافة اضطرابات صغيرة غير محسوسة إلى الصور يمكن أن تتسبب في تصنيف خاطئ من قبل مصنفات متقدمة بثقة عالية. تتحول الباندا إلى قرد الجيبون؛ وتتحول علامة التوقف إلى علامة حد السرعة — مع تغييرات في البكسل غير مرئية للمراقبين البشريين.
كشف هذا الاكتشاف أن الشبكات العصبية، على الرغم من أدائها المثير للإعجاب، تتعلم أنماطاً إحصائية يمكن استغلالها بدلاً من الفهم الدلالي القوي. ينطبق نفس المبدأ الأساسي — أن النماذج يمكن خداعها بشكل منهجي من خلال مدخلات مصممة بعناية — على جميع طرائق الذكاء الاصطناعي، بما في ذلك نماذج اللغة.
الهجمات الخصومية حسب الفئة
هجمات التهرب
يتعرض النموذج للهجوم في وقت الاستدلال بمدخلات مصممة لإحداث تصنيف خاطئ أو سلوك غير متوقع. في الرؤية الحاسوبية، هذه هي الصور الخصومية. في معالجة اللغة الطبيعية ونماذج اللغة الكبيرة، تشمل هجمات التهرب:
- حقن المطالبات : نص مصمم يتجاوز تعليمات النظام
- كسر الحماية : مطالبات تتجاوز حواجز الأمان
- تهريب الرموز : تلاعبات في الترميز تتهرب من مرشحات المحتوى
- اللواحق الخصومية: سلاسل محسوبة خوارزمياً تسبب بشكل موثوق مخرجات ضارة
هجمات التسميم
يتعرض النموذج أو مصادر بياناته للهجوم أثناء التدريب أو الاسترجاع. تشمل الأمثلة:
- تسميم بيانات التدريب: حقن أمثلة ضارة في مجموعات بيانات التدريب لإدخال أبواب خلفية أو تحيز
- تسميم RAG : تلويث قواعد المعرفة الاسترجاعية بمحتوى ضار
- هجمات الضبط الدقيق: تسميم مجموعات بيانات الضبط الدقيق الخاصة بمجال معين
استخراج النموذج / السرقة
يستخدم الخصوم استعلامات متكررة لاستخراج معلومات حول حدود قرار النموذج، أو إعادة بناء بيانات التدريب، أو تكرار قدرات النموذج — وهو تهديد للاستخبارات التنافسية لأنظمة الذكاء الاصطناعي الخاصة.
استدلال العضوية
يحدد المهاجمون ما إذا كانت بيانات معينة قد استخدمت في التدريب، مما قد يكشف عما إذا كانت المعلومات الشخصية الحساسة قد تم تضمينها في مجموعات بيانات التدريب.
هل أنت مستعد لتنمية عملك؟
ابدأ تجربتك المجانية اليوم وشاهد النتائج في غضون أيام.
الهجمات الخصومية على نماذج اللغة الكبيرة: مجال متخصص
تواجه نماذج اللغة الكبيرة هجمات خصومية تختلف عن الأمثلة الخصومية الكلاسيكية للتعلم الآلي:
هجمات اللغة الطبيعية يمكن قراءتها من قبل البشر. على عكس اضطرابات الصور (تغييرات البكسل غير المحسوسة)، غالباً ما تستخدم هجمات نماذج اللغة الكبيرة الخصومية الفعالة لغة طبيعية متماسكة — مما يجعل من الصعب جداً تمييزها عن المدخلات المشروعة.
سطح الهجوم هو واجهة التعليمات. تم تصميم نماذج اللغة الكبيرة لاتباع التعليمات. تستغل الهجمات الخصومية ذلك من خلال صياغة مدخلات تبدو وكأنها تعليمات مشروعة للنموذج ولكنها تحقق أهداف المهاجم.
الهجمات القائمة على التدرج ممكنة. بالنسبة للنماذج مفتوحة المصدر أو ذات الوصول الكامل، يمكن للمهاجمين حساب اللواحق الخصومية باستخدام النزول التدريجي — نفس التقنية المستخدمة للعثور على اضطرابات الصور الخصومية. أظهرت الأبحاث أن هذه السلاسل المحسوبة تنتقل بشكل مفاجئ إلى النماذج الخاصة.
نظير الهندسة الاجتماعية. تشبه العديد من الهجمات الخصومية على نماذج اللغة الكبيرة الهندسة الاجتماعية أكثر من هجمات التعلم الآلي الكلاسيكية — حيث تستغل ميول النموذج نحو المساعدة والاتساق والامتثال للسلطة.
الدفاعات والتدابير المضادة
التدريب الخصومي
يؤدي تضمين الأمثلة الخصومية في التدريب إلى تحسين القوة. يتضمن تدريب المواءمة الأمنية لنماذج اللغة الكبيرة أمثلة على محاولات حقن المطالبات وكسر الحماية، مما يعلم النماذج مقاومتها. ومع ذلك، فإن ديناميكية سباق التسلح هذه تعني أن الهجمات الجديدة تظهر بانتظام وتتجاوز التدريب الحالي.
القوة المعتمدة
توفر تقنيات التحقق الرسمي ضمانات رياضية بأن النموذج سيصنف المدخلات بشكل صحيح ضمن حد اضطراب معين. محدودة حالياً بالنماذج الأصغر ومجالات المدخلات الأبسط، ولكنها مجال بحث نشط.
المعالجة المسبقة للمدخلات والتحقق منها
تعقيم المدخلات لإزالة أو تحييد المكونات الخصومية المحتملة قبل وصولها إلى النموذج. بالنسبة لنماذج اللغة الكبيرة، يتضمن ذلك اكتشاف أنماط الحقن والهياكل المدخلة الشاذة.
طرق المجموعة
يقلل استخدام نماذج متعددة وطلب الاتفاق من قابلية النقل الخصومي. من غير المرجح أن يخدع الهجوم الذي يخدع نموذجاً واحداً جميع النماذج في المجموعة.
المراقبة واكتشاف الشذوذ
اكتشاف المدخلات الخصومية في وقت التشغيل من خلال تحديد الشذوذات الإحصائية أو الأنماط السلوكية غير المتسقة مع الاستخدام العادي.
انضم إلى نشرتنا الإخبارية
احصل على أحدث النصائح والاتجاهات والعروض مجانًا.
التطبيق على أمن روبوتات الدردشة المدعومة بالذكاء الاصطناعي
بالنسبة للمؤسسات التي تنشر روبوتات دردشة مدعومة بالذكاء الاصطناعي، تُعلم مبادئ التعلم الآلي الخصومي:
- الفريق الأحمر للذكاء الاصطناعي : الاختبار الخصومي المنهجي لأنظمة الذكاء الاصطناعي
- تقييم القوة: اختبار ما إذا كانت سلوكيات الأمان تصمد في ظل الظروف الخصومية
- تصميم التحقق من المدخلات: فهم فئات المدخلات الخصومية الموجودة يُعلم ما يجب التحقق منه
- عمق الدفاع: لا يوجد دفاع واحد قوي؛ مطلوبة ضوابط متعددة الطبقات
المصطلحات ذات الصلة
- حقن المطالبات — هجمات خصومية تستهدف اتباع التعليمات في نماذج اللغة الكبيرة
- كسر حماية الذكاء الاصطناعي — تجاوز خصومي لحواجز الأمان
- تهريب الرموز — التهرب الخصومي من المرشحات القائم على الترميز
- الفريق الأحمر للذكاء الاصطناعي — اختبار أمني خصومي منهجي
- أمن نماذج اللغة الكبيرة — ممارسات أمن الذكاء الاصطناعي الشاملة
