التلاعب بنافذة السياق

نافذة السياق هي واحدة من أهم الحدود الأمنية وأقلها فهماً في عمليات نشر النماذج اللغوية الكبيرة. إنها تحدد المعلومات التي يمكن للنموذج اللغوي الكبير الوصول إليها خلال مكالمة استنتاج واحدة — وهي مورد محدود يمكن للمهاجمين استغلاله عمداً.

ما هي نافذة السياق؟

يعالج النموذج اللغوي الكبير النص كرموز (تقريباً 3/4 من الكلمة لكل رمز). تحدد نافذة السياق الحد الأقصى لعدد الرموز التي يمكن للنموذج معالجتها دفعة واحدة. تتراوح النماذج الحديثة من 4 آلاف إلى أكثر من مليون رمز، ولكن جميعها لها حدود.

ضمن نافذة السياق، يعالج النموذج اللغوي الكبير:

• موجه النظام: تعليمات محددة من قبل المطور تؤسس دور روبوت المحادثة وقيوده
• سجل المحادثة: الدورات السابقة في الجلسة الحالية
• المحتوى المسترجع: المستندات، ونتائج قاعدة البيانات، ومخرجات الأدوات التي يتم إرجاعها بواسطة RAG أو البحث
• إدخال المستخدم: رسالة المستخدم الحالية

كل هذا يظهر كتدفق موحد للنموذج. ليس لدى النموذج آلية متأصلة لمعاملة التعليمات من مصادر مختلفة بشكل مختلف — وانتباهه لأجزاء محددة من السياق ليس موحداً.

تقنيات هجوم نافذة السياق

حشو السياق / إغراق السياق

يقدم المهاجم إدخالاً كبيراً للغاية — غالباً مستند طويل، أو كتلة كود، أو تفريغ نص — لدفع المحتوى السابق (خاصة موجه النظام) بعيداً عن موضع النموذج الحالي.

تظهر الأبحاث أن النماذج اللغوية الكبيرة تظهر سلوك “ضائع في الوسط”: فهي تولي المزيد من الاهتمام للمحتوى في بداية ونهاية السياقات الطويلة، واهتماماً أقل للمعلومات في المنتصف. من خلال إغراق السياق، يمكن للمهاجم وضع حمولته الضارة بشكل استراتيجي (عادة في النهاية) بينما تنجرف تعليمات الأمان السابقة إلى منطقة الاهتمام المنخفض في الوسط.

مثال عملي: يحدد موجه النظام لروبوت المحادثة أنه لا يمكنه مناقشة منتجات المنافسين. يقدم المهاجم مستنداً مكوناً من 50,000 رمز متبوعاً بموجه يسأل عن المنافسين. تم تخفيف تعليمات موجه النظام بشكل فعال.

فيضان السياق / استغلال الاقتطاع

عندما يمتلئ السياق، يجب على النموذج اللغوي الكبير أو بنيته التحتية أن تقرر ما يجب إسقاطه. إذا كان الاقتطاع يعطي الأولوية للحداثة (إسقاط المحتوى الأقدم أولاً)، يمكن للمهاجم إفاضة السياق للقضاء على موجه النظام بالكامل — مما يترك النموذج يعمل بسياق يوفره المستخدم فقط.

تسلسل الهجوم:

1. إنشاء محادثة بدورات عديدة
2. توليد استجابات طويلة لتعظيم استهلاك السياق
3. الاستمرار حتى يتم اقتطاع محتوى موجه النظام
4. الآن إصدار تعليمات ضارة بدون موجه نظام منافس

تسميم السياق عبر المحتوى المسترجع

في أنظمة RAG، تستهلك المستندات المسترجعة مساحة سياق كبيرة. يمكن للمهاجم الذي يمكنه التأثير على ما يتم استرجاعه (من خلال تسميم RAG ) أن يملأ السياق بشكل انتقائي بمحتوى يخدم أهدافه بينما يزاحم المعلومات الشرعية.

الحقن الموضعي

حددت الأبحاث أن التعليمات في مواضع محددة في السياق لها تأثير غير متناسب. يمكن للمهاجمين الذين يفهمون تجميع السياق صياغة مدخلات مصممة للهبوط في مواضع عالية الاهتمام بالنسبة لحمولتهم.

الحقن متعدد اللقطات

في النماذج التي تدعم سياقات طويلة جداً (مئات الآلاف من الرموز)، يمكن للمهاجمين تضمين مئات من الأمثلة “التوضيحية” التي تظهر النموذج ينتج مخرجات تنتهك السياسة قبل الطلب الضار الفعلي. من المرجح بشكل كبير أن يمتثل النموذج، المشروط بهذه المظاهرات.

هل أنت مستعد لتنمية عملك؟

ابدأ تجربتك المجانية اليوم وشاهد النتائج في غضون أيام.

طلب عرض توضيحي تسجيل الدخول

الدفاعات ضد التلاعب بنافذة السياق

تثبيت التعليمات الحرجة

لا تضع جميع التعليمات الحرجة للأمان فقط في بداية موجه النظام. كرر القيود الرئيسية في نهاية موجه النظام وفكر في حقن تذكيرات موجزة في نقاط رئيسية في المحادثات الطويلة.

حدود حجم السياق

نفذ حدوداً قصوى لطول الإدخال مناسبة لحالة الاستخدام الخاصة بك. نادراً ما يحتاج روبوت محادثة خدمة العملاء إلى معالجة مدخلات مكونة من 100,000 رمز — الحد من هذا يقلل من مخاطر هجوم الإغراق.

مراقبة السياق

سجل وراقب أحجام السياق وتكوينه. المدخلات الكبيرة بشكل غير عادي، أو نمو السياق السريع، أو تكوين السياق غير المتوقع هي مؤشرات هجوم محتملة.

التلخيص للمحادثات الطويلة

للمحادثات طويلة الأمد، نفذ تلخيص السياق الذي يحتفظ بالحقائق والقيود الرئيسية بدلاً من سجل المحادثة الخام. هذا يقاوم هجمات الفيضان مع الحفاظ على استمرارية المحادثة.

اختبار السياق العدائي

قم بتضمين سيناريوهات التلاعب بالسياق في مشاركات اختبار اختراق الذكاء الاصطناعي . اختبر ما إذا كانت سلوكيات الأمان تستمر عبر السياقات الطويلة وما إذا كانت موجهات النظام تظل فعالة بعد إغراق السياق.

المصطلحات ذات الصلة

• حقن الموجه — استغلال ثغرات معالجة التعليمات
• حقن الموجه غير المباشر — الحقن عبر المحتوى البيئي
• تهريب الرموز — تجاوز المرشحات القائم على الترميز
• تسميم RAG — تلويث قاعدة المعرفة
• أمان النماذج اللغوية الكبيرة — ممارسات أمان الذكاء الاصطناعي الشاملة