بيرت

ما هو بيرت؟

بيرت، والذي يرمز إلى تمثيلات التشفير ثنائية الاتجاه من المحولات، هو إطار عمل مفتوح المصدر للتعلم الآلي لمعالجة اللغة الطبيعية (NLP). تم تطويره بواسطة باحثي لغة الذكاء الاصطناعي في جوجل وطرح لأول مرة في عام 2018، وقد أحدث بيرت تقدمًا كبيرًا في معالجة اللغة الطبيعية من خلال تمكين الآلات من فهم اللغة بشكل أقرب لطريقة البشر.

في جوهره، يساعد بيرت أجهزة الكمبيوتر على تفسير معاني اللغة الغامضة أو المعتمدة على السياق في النص عبر أخذ الكلمات المحيطة في الجملة بعين الاعتبار—قبل وبعد الكلمة المستهدفة. يسمح هذا النهج الثنائي الاتجاه لبيرت بفهم كامل لفروق اللغة، مما يجعله فعالًا جدًا في مجموعة واسعة من مهام معالجة اللغة الطبيعية.

خلفية وتاريخ بيرت

تطور نماذج اللغة

قبل بيرت، كانت معظم نماذج اللغة تعالج النص باتجاه واحد (إما من اليسار إلى اليمين أو من اليمين إلى اليسار)، مما حد من قدرتها على التقاط السياق.

النماذج السابقة مثل Word2Vec وGloVe أنشأت تمثيلات كلمات ثابتة، حيث تعطي متجهًا واحدًا لكل كلمة بغض النظر عن السياق. كان هذا النهج يواجه صعوبة مع الكلمات متعددة المعاني (مثل “bank” التي تعني مؤسسة مالية أو ضفة نهر).

تقديم المحولات

في عام 2017، تم تقديم بنية المحول في ورقة بحثية بعنوان “Attention Is All You Need”. المحولات هي نماذج تعلم عميق تستخدم آلية الانتباه الذاتي، ما يسمح لها بتقييم أهمية كل جزء من المدخلات بشكل ديناميكي.

أحدثت المحولات ثورة في معالجة اللغة الطبيعية من خلال معالجة جميع كلمات الجملة في آن واحد، مما مكّن من التدريب على نطاق أوسع.

تطوير بيرت

استند باحثو جوجل إلى بنية المحول لتطوير بيرت، والذي تم تقديمه في ورقة عام 2018 بعنوان “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”. كانت ابتكار بيرت هو تطبيق التدريب ثنائي الاتجاه، بحيث ينظر إلى السياق من كلا الجانبين.

تم تدريب بيرت مسبقًا على ويكيبيديا الإنجليزية بالكامل (2.5 مليار كلمة) وBookCorpus (800 مليون كلمة)، مما منحه فهمًا عميقًا للأنماط والتركيب والدلالات.

بنية بيرت

لمحة عامة

بيرت هو مجموعة من مكدسات التشفير في بنية المحول (يستخدم التشفير فقط وليس فك التشفير). يتكون من عدة طبقات (12 أو 24 كتلة محول)، كل منها تحتوي على انتباه ذاتي وشبكات عصبية أمامية.

التقسيم إلى رموز والتمثيل

يستخدم بيرت تقسيم WordPiece، حيث يتم تقطيع الكلمات إلى وحدات فرعية لمعالجة الكلمات النادرة أو غير المعروفة.

يمثل كل رمز مدخل بمجموع ثلاثة تمثيلات:

1. تمثيلات الرموز: لكل رمز (كلمة أو جزء من كلمة).
2. تمثيلات القطع: تشير إلى ما إذا كان الرمز ينتمي إلى الجملة (A أو B).
3. تمثيلات الموقع: توفر معلومات موقع كل رمز.

تساعد هذه التمثيلات بيرت على فهم البنية والدلالة معًا.

آلية الانتباه الذاتي

تتيح آلية الانتباه الذاتي لبيرت تقييم أهمية كل رمز بالنسبة للرموز الأخرى في التسلسل، مما يلتقط العلاقات بغض النظر عن المسافة بينها.

على سبيل المثال، في جملة “The bank raised its interest rates”، يساعد الانتباه الذاتي بيرت على ربط “bank” بـ “interest rates”، ويفهم أن “bank” تشير إلى مؤسسة مالية.

التدريب ثنائي الاتجاه

يتيح التدريب ثنائي الاتجاه لبيرت التقاط السياق من كلا الجانبين. ويتم ذلك عبر هدفين تدريبيين:

1. نمذجة اللغة المقنعة (MLM): إخفاء رموز عشوائية من المدخلات وتدريب بيرت على توقعها من خلال السياق.
2. توقع الجملة التالية (NSP): تدريب بيرت على التنبؤ بما إذا كانت الجملة B تتبع الجملة A، مما يساعده على فهم علاقات الجمل.

كيف يعمل بيرت

نمذجة اللغة المقنعة (MLM)

في MLM، يختار بيرت عشوائيًا 15% من الرموز لاستبدالها:

• 80% تُستبدل بـ [MASK]
• 10% تُستبدل برمز عشوائي
• 10% تترك بدون تغيير

تشجع هذه الاستراتيجية على فهم أعمق للغة.

مثال:

• الجملة الأصلية: “The quick brown fox jumps over the lazy dog.”
• الجملة بعد الإخفاء: “The quick brown [MASK] jumps over the lazy [MASK].”
• على النموذج توقع “fox” و"dog".

توقع الجملة التالية (NSP)

يساعد NSP بيرت على فهم العلاقات بين الجمل.

• 50% من الوقت، الجملة B هي الجملة التالية الفعلية.
• 50% من الوقت، الجملة B عشوائية من النصوص.

أمثلة:

• الجملة A: “The rain was pouring down.”
• الجملة B: “She took out her umbrella.” → “IsNext”
• الجملة B: “I enjoy playing chess.” → “NotNext”

الضبط اللاحق لمهام محددة

بعد التدريب المسبق، يتم ضبط بيرت لاحقًا لمهام معالجة اللغة الطبيعية المحددة من خلال إضافة طبقات إخراج. ويتطلب الضبط اللاحق بيانات وموارد حسابية أقل من التدريب من الصفر.

كيف يُستخدم بيرت

يدعم بيرت العديد من مهام معالجة اللغة الطبيعية، وغالبًا ما يحقق نتائج متقدمة.

تحليل المشاعر

يمكن لبيرت تصنيف المشاعر (مثلاً: تقييمات إيجابية/سلبية) بدقة عالية.

• مثال: يستخدمه قطاع التجارة الإلكترونية لتحليل التقييمات وتحسين المنتجات.

الإجابة على الأسئلة

يفهم بيرت الأسئلة ويوفر إجابات من السياق.

• مثال: يستخدم شات بوت بيرت للرد على “ما هي سياسة الاسترجاع؟” بالرجوع إلى مستندات السياسات.

التعرف على الكيانات المسماة (NER)

يحدد NER الكيانات الأساسية (الأسماء، المؤسسات، التواريخ).

• مثال: يستخرج مجمعو الأخبار الكيانات لتمكين المستخدمين من البحث عن مواضيع محددة.

الترجمة اللغوية

على الرغم من أن بيرت لم يُصمم للترجمة، إلا أن فهمه العميق للنص يساعد في الترجمة عند دمجه مع نماذج أخرى.

تلخيص النصوص

يمكن لبيرت توليد ملخصات مختصرة من خلال تحديد المفاهيم الأساسية.

• مثال: تلخص الشركات القانونية العقود للوصول السريع للمعلومات.

توليد النصوص والإكمال

يتوقع بيرت الكلمات أو التسلسلات المقنعة، مما يساعد في توليد النصوص.

• مثال: تقترح برامج البريد الإلكتروني الكلمات التالية أثناء الكتابة.

أمثلة على حالات الاستخدام

بحث جوجل

في عام 2019، بدأت جوجل في استخدام بيرت لتحسين خوارزميات البحث وفهم سياق واستهداف الاستفسارات.

مثال:

• استعلام البحث: “Can you get medicine for someone pharmacy?”
• مع بيرت: تدرك جوجل أن المستخدم يسأل عن إمكانية استلام الدواء لشخص آخر.

أتمتة الذكاء الاصطناعي والشات بوتات

يدعم بيرت الشات بوتات، مما يحسن من فهم مدخلات المستخدم.

• مثال: تستخدم شات بوتات دعم العملاء بيرت لمعالجة الأسئلة المعقدة دون تدخل بشري.

تطبيقات الرعاية الصحية

تعالج نماذج بيرت المتخصصة مثل BioBERT النصوص الطبية الحيوية.

• مثال: يستخدم الباحثون BioBERT لاكتشاف الأدوية وتحليل الأدبيات العلمية.

تحليل الوثائق القانونية

يستخدم المحامون بيرت لتحليل وتلخيص النصوص القانونية.

• مثال: تحدد مكاتب المحاماة بنود المسؤولية أسرع عبر بيرت.

إصدارات وتوسعات بيرت

توجد عدة تعديلات على بيرت لزيادة الكفاءة أو التخصص في مجالات معينة:

• DistilBERT: أصغر وأسرع وأخف وزنًا، يوفر 95% من أداء بيرت باستخدام 40% فقط من المعلمات.
  حالة الاستخدام: البيئات المحمولة.
• TinyBERT: أكثر تكثيفًا لتقليل حجم النموذج ووقت الاستدلال.
• RoBERTa: مدرب بدفعات أكبر وبيانات أكثر، بدون NSP، لتحقيق أداء أفضل.
• BioBERT: مدرب مسبقًا على النصوص الطبية الحيوية لمعالجة اللغة الطبية.
• PatentBERT: معدل لتصنيف براءات الاختراع.
• SciBERT: موجه للنصوص العلمية.
• VideoBERT: يدمج البيانات المرئية والنصية لفهم الفيديو.

بيرت في الذكاء الاصطناعي والأتمتة والشات بوتات

تعزيز تطبيقات الذكاء الاصطناعي

يدعم الفهم السياقي لبيرت العديد من تطبيقات الذكاء الاصطناعي:

• تحسين فهم اللغة: يفسر النصوص بدقة وسياق.
• تعلم النقل الفعال: نماذج مدربة مسبقًا يمكن ضبطها ببعض البيانات فقط.
• تعدد الاستخدامات: يقلل الحاجة لنماذج مخصصة لكل مهمة.

التأثير على الشات بوتات

حسن بيرت بشكل كبير جودة الشات بوتات وأتمتة الذكاء الاصطناعي.

أمثلة:

• دعم العملاء: الشات بوتات تفهم وترد بدقة.
• المساعدون الافتراضيون: تعرّف أفضل على الأوامر والاستجابة.
• بوتات الترجمة اللغوية: الحفاظ على السياق والدقة.

أتمتة الذكاء الاصطناعي

يمكّن بيرت أتمتة الذكاء الاصطناعي لمعالجة كميات كبيرة من النصوص دون تدخل بشري.

حالات الاستخدام:

• معالجة المستندات: تصنيف المستندات تلقائيًا، وضع العلامات، وتلخيصها.
• مراقبة المحتوى: تحديد المحتوى غير المناسب.
• إعداد التقارير التلقائي: استخراج المعلومات الرئيسية للتقارير.

الأبحاث حول بيرت

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
   المؤلفون: جيكوب ديفلين، مينغ-وي تشانغ، كينتون لي، كريستينا توتانوفا
   تقدم هذه الورقة بنية بيرت وفعاليتها في عدة اختبارات قياسية، من خلال تمكين الضبط المشترك للسياقين الأيسر والأيمن.
   اقرأ المزيد

2. Multi-Task Bidirectional Transformer Representations for Irony Detection
   المؤلفون: تشيو زانغ، محمد عبد المجيد
   تطبق بيرت لاكتشاف السخرية باستخدام التعلم المتعدد المهام والتدريب المسبق للتكيف مع المجال. تحقق نتيجة 82.4 في مؤشر F1 الكلي.
   اقرأ المزيد

3. Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
   المؤلفون: هانغيو لين، يانوي فو، يو-غانغ جيانغ، شيانغيانغ شيوي
   تقدم Sketch-BERT للتعرف على الرسومات واسترجاعها، وتطبق التعلم الذاتي الإشراف وشبكات التمثيل المبتكرة.
   اقرأ المزيد

4. Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
   المؤلف: بيوتر ريباك
   يقترح مطابقة المفردات لتكييف بيرت مع اللغات ضعيفة الموارد، مما يساهم في نشر تقنيات معالجة اللغة الطبيعية.
   اقرأ المزيد