درجة BLEU

درجة BLEU، أو التقييم الثنائي للترجمة، هو مقياس حاسم في تقييم جودة النصوص التي تنتجها أنظمة الترجمة الآلية. تم تطويره من قبل شركة IBM في عام 2001، وكان مقياسًا رائدًا أظهر ارتباطًا قويًا مع التقييمات البشرية لجودة الترجمة. لا تزال درجة BLEU حجر الزاوية في مجال معالجة اللغة الطبيعية (NLP) وتُستخدم على نطاق واسع لتقييم أنظمة الترجمة الآلية.

في جوهره، تقيس درجة BLEU مدى التشابه بين الترجمة التي تنتجها الآلة وواحدة أو أكثر من الترجمات البشرية المرجعية. كلما اقتربت الترجمة الآلية من المرجع البشري، زادت درجة BLEU، والتي تتراوح من 0 إلى 1. تشير الدرجات القريبة من 1 إلى تشابه أكبر، على الرغم من أن الدرجة الكاملة (1) نادرة وقد تشير إلى تخصيص مفرط، وهو أمر غير مرغوب فيه.

المكونات الرئيسية لحساب درجة BLEU

1. N-grams

n-grams هي تسلسلات متجاورة من “n” عناصر من نص أو عينة كلام، وغالبًا ما تكون كلمات. في BLEU، تُستخدم n-grams لمقارنة الترجمات الآلية بالترجمات المرجعية. على سبيل المثال، في العبارة “القط على السجادة”، تشمل n-grams:

• 1-gram (أحاديات): “القط”، “على”، “السجادة”
• 2-gram (ثنائيات): “القط على”، “على السجادة”
• 3-gram (ثلاثيات): “القط على السجادة”
• 4-gram: (لا يوجد في المثال)

يحسب BLEU الدقة باستخدام هذه n-grams لتقييم مدى التداخل بين الترجمة المرشحة والترجمات المرجعية.

2. الدقة والدقة المعدلة

يعرّف BLEU الدقة بأنها نسبة n-grams في الترجمة المرشحة التي تظهر أيضًا في الترجمات المرجعية. لمنع مكافأة تكرار n-gram، يستخدم BLEU “الدقة المعدلة”، التي تحد من عدد مرات احتساب كل n-gram في الترجمة المرشحة إلى الحد الأقصى لظهورها في أي ترجمة مرجعية.

3. عقوبة الإيجاز

عقوبة الإيجاز عنصر أساسي في BLEU، حيث تعاقب الترجمات التي تكون قصيرة جدًا. قد تحقق الترجمات الأقصر دقة عالية عبر حذف أجزاء غير مؤكدة من النص. تُحسب هذه العقوبة بناءً على نسبة طول الترجمة المرشحة إلى المرجعية، لضمان عدم كون الترجمة أقصر أو أطول من اللازم مقارنة بالمرجع.

4. المتوسط الهندسي لدرجات الدقة

يجمع BLEU درجات الدقة عبر أحجام n-gram مختلفة (عادة حتى 4-gram) باستخدام المتوسط الهندسي، لتحقيق توازن بين التقاط السياق المحلي والأوسع في الترجمة.

الإطار الرياضي

يتم تمثيل درجة BLEU رياضيًا كالتالي:

[ \text{BLEU} = \text{BP} \times \exp\left(\sum_{n=1}^{N} w_n \log(p_n)\right) ]

حيث:

• BP هي عقوبة الإيجاز.
• ( w_n ) هو الوزن لدقة n-gram (عادة يُضبط على 1/n، حيث n هو حجم n-gram).
• ( p_n ) هي الدقة المعدلة لـ n-grams.

حالات الاستخدام والتطبيقات

الترجمة الآلية

تُستخدم BLEU بشكل أساسي لتقييم أنظمة الترجمة الآلية، حيث توفر مقياسًا كميًا لمقارنة الأنظمة المختلفة وتتبع التحسينات. إنها ذات قيمة خاصة في البحث والتطوير لاختبار فعالية نماذج الترجمة.

مهام معالجة اللغة الطبيعية

بالرغم من أنها صُممت للترجمة، تُستخدم BLEU أيضًا في مهام معالجة اللغة الطبيعية الأخرى مثل تلخيص النصوص وإعادة الصياغة، حيث يُرغب في إنتاج نص مشابه للمرجع البشري.

الأتمتة والروبوتات الذكية

يمكن استخدام BLEU لتقييم جودة الردود التي تنتجها نماذج الذكاء الاصطناعي في الأتمتة والشات بوتات، لضمان أن تكون المخرجات متماسكة وملائمة للسياق مقارنة بالردود البشرية.

الانتقادات والقيود

على الرغم من استخدامها الواسع، لدى BLEU بعض القيود:

• غياب الفهم الدلالي: تركز BLEU على تشابه السلاسل وليس المعنى الدلالي، ما قد يؤدي إلى نتائج مضللة إذا تم استخدام المرادفات أو إعادة الصياغة.
• الحساسية للترجمات المرجعية: تعتمد درجات BLEU بشدة على جودة وعدد الترجمات المرجعية؛ فكلما زاد عدد المراجع، زادت فرص التطابق وبالتالي زيادة الدرجات.
• درجات عالية مضللة: لا تعكس الدرجات العالية دائمًا جودة ترجمة عالية، خاصة إذا كان النظام مفرط التخصيص لمجموعة الاختبار.
• تجاهل ترتيب الكلمات: لا تعاقب BLEU بشكل كافٍ على ترتيب الكلمات غير الصحيح، مما يؤثر على معنى الجملة.