إعادة ترتيب المستندات

تعيد إعادة ترتيب المستندات ترتيب المستندات المسترجعة بناءً على صلتها بالاستعلام، مما يصقل نتائج البحث. يعزز توسيع الاستعلام البحث بإضافة مصطلحات ذات صلة، فيحسن الاستدعاء ويعالج الغموض. الجمع بين هاتين التقنيتين في أنظمة RAG يعزز دقة الاسترجاع وجودة الإجابات.

إعادة ترتيب المستندات هي عملية إعادة ترتيب المستندات المسترجعة بناءً على مدى صلتها باستعلام المستخدم. بعد خطوة الاسترجاع الأولية، تقوم إعادة الترتيب بتصنيف النتائج من خلال تقييم مدى صلة كل مستند بدقة أكبر، مما يضمن إعطاء الأولوية للمستندات الأكثر أهمية.

ما هو التوليد المعزز بالاسترجاع (RAG)؟

التوليد المعزز بالاسترجاع (RAG) هو إطار عمل متقدم يجمع بين قدرات نماذج اللغة الكبيرة (LLMs) وأنظمة استرجاع المعلومات. في نظام RAG، عند إرسال المستخدم لاستعلام، يقوم النظام باسترجاع مستندات ذات صلة من قاعدة معرفة ضخمة ويغذي هذه المعلومات إلى النموذج اللغوي الكبير لتوليد إجابات دقيقة وملائمة للسياق. تعزز هذه المقاربة دقة وملاءمة المحتوى الذي ينتجه الذكاء الاصطناعي من خلال ربطه ببيانات واقعية.

فهم توسيع الاستعلام

ما هو توسيع الاستعلام؟

التعريف

توسيع الاستعلام هو تقنية تُستخدم في استرجاع المعلومات لتعزيز فعالية استعلامات البحث. تتضمن هذه التقنية تعزيز الاستعلام الأصلي بمصطلحات أو عبارات إضافية ذات صلة دلالية. الهدف الأساسي هو سد الفجوة بين نية المستخدم واللغة المستخدمة في المستندات ذات الصلة، مما يحسن استرجاع المعلومات المهمة.

كيف يعمل

عمليًا، يمكن تحقيق توسيع الاستعلام عبر عدة طرق:

• توسيع المرادفات: إدراج مرادفات لمصطلحات الاستعلام لتغطية تعبيرات مختلفة لنفس المفهوم.
• مصطلحات ذات صلة: إضافة مصطلحات لها صلة بالسياق لكنها ليست مرادفات مباشرة.
• توسيع معتمد على LLM: استخدام نماذج اللغة الكبيرة لتوليد استعلامات موسعة عبر توقع كلمات أو عبارات ذات صلة بالاستعلام الأصلي.

من خلال توسيع الاستعلام، يمكن لنظام الاسترجاع تغطية نطاق أوسع، وجلب مستندات قد تم تفويتها بسبب اختلاف المصطلحات أو الصياغة.

لماذا يعد توسيع الاستعلام مهمًا في أنظمة RAG؟

تحسين الاستدعاء

يشير الاستدعاء إلى قدرة نظام الاسترجاع على إيجاد جميع المستندات ذات الصلة. يعزز توسيع الاستعلام الاستدعاء من خلال:

• استرجاع مستندات تستخدم مصطلحات مختلفة لوصف نفس المفهوم.
• جلب مستندات تغطي مواضيع فرعية مرتبطة أو نواحي أوسع من الاستعلام.

معالجة غموض الاستعلام

غالبًا ما يقدم المستخدمون استعلامات قصيرة أو غامضة. يساعد توسيع الاستعلام في:

• توضيح نية المستخدم عبر النظر في تفسيرات متعددة.
• تقديم بحث أكثر شمولًا عبر تضمين جوانب متنوعة للموضوع.

تعزيز مطابقة المستندات

من خلال إدراج مصطلحات إضافية ذات صلة، يزيد النظام من احتمالية مطابقة الاستعلام مع مستندات قد تستخدم مفردات مختلفة، مما يحسن فعالية عملية الاسترجاع بشكل عام.

طرق توسيع الاستعلام

1. التغذية الراجعة الزائفة للصلاحية (PRF)

ما هو PRF؟

التغذية الراجعة الزائفة للصلاحية هي طريقة تلقائية لتوسيع الاستعلام حيث يفترض النظام أن المستندات الأعلى تصنيفًا من البحث الأولي ذات صلة. يستخرج النظام مصطلحات مهمة من هذه المستندات لتحسين الاستعلام الأصلي.

كيف يعمل PRF

• تنفيذ الاستعلام الأولي: يُنفذ الاستعلام الأصلي للمستخدم وتُسترجع المستندات الأعلى.
• استخراج المصطلحات: تُحدد المصطلحات الرئيسية من هذه المستندات بناءً على التكرار أو الأهمية.
• تحسين الاستعلام: يُوسع الاستعلام الأصلي بهذه المصطلحات الرئيسية.
• استرجاع ثاني: يُستخدم الاستعلام الموسع لإجراء بحث جديد، مع استرجاع مستندات أكثر صلة.

الفوائد والعيوب

• الفوائد: يحسن الاستدعاء دون تدخل المستخدم.
• العيوب: إذا احتوت النتائج الأولية على مستندات غير ذات صلة، قد تشمل التوسعة مصطلحات مضللة، مما يقلل الدقة.

2. توسيع الاستعلام المعتمد على LLM

الاستفادة من نماذج اللغة الكبيرة

مع تقدم الذكاء الاصطناعي، تستطيع نماذج LLM مثل GPT-3 وGPT-4 توليد توسعات متقدمة للاستعلام عبر فهم السياق والدلالات.

كيف يعمل التوسيع المعتمد على LLM

• توليد إجابة افتراضية: يولد النموذج إجابة افتراضية للاستعلام الأصلي.
• توسيع سياقي: تقدم الإجابة سياقًا إضافيًا ومصطلحات ذات صلة.
• استعلام مركب: يُدمج الاستعلام الأصلي مع ناتج LLM لتكوين استعلام موسع.

مثال

الاستعلام الأصلي:
“ما هي العوامل الأكثر أهمية التي ساهمت في زيادة الإيرادات؟”

إجابة LLM المولدة:
“في السنة المالية، ساهمت عدة عوامل رئيسية في الزيادة الكبيرة لإيرادات الشركة، بما في ذلك الحملات التسويقية الناجحة، وتنوع المنتجات، ومبادرات رضا العملاء، والتسعير الاستراتيجي، والاستثمارات في التكنولوجيا.”

الاستعلام الموسع:
“الاستعلام الأصلي: ما هي العوامل الأكثر أهمية التي ساهمت في زيادة الإيرادات؟
الإجابة الافتراضية: [إجابة LLM المولدة]”

المزايا

• فهم عميق: يلتقط العلاقات والمفاهيم الدقيقة.
• تخصيص: يضبط التوسيع بما يتناسب مع المجال أو السياق المحدد.

التحديات

• الموارد الحاسوبية: قد يتطلب قوة معالجة كبيرة.
• التوسع المفرط: خطر إضافة مصطلحات غير ذات صلة أو أكثر من اللازم.

تنفيذ توسيع الاستعلام في أنظمة RAG

عملية خطوة بخطوة

1. إدخال استعلام المستخدم: يستلم النظام الاستعلام الأصلي للمستخدم.
2. توسيع معتمد على LLM:
   • يوجه النظام LLM لتوليد إجابة افتراضية أو استعلامات ذات صلة.
   • مثال على الطلب:
     “قدم إجابة مفصلة أو استعلامات ذات صلة حول: [استعلام المستخدم]”
3. دمج الاستعلامات:
   • يُدمج الاستعلام الأصلي مع المحتوى الموسع.
   • هذا يضمن بقاء الاستعلام الموسع ملائمًا لنية المستخدم.
4. الاستخدام في الاسترجاع:
   • يُستخدم الاستعلام الموسع لاسترجاع المستندات من قاعدة المعرفة.
   • يمكن ذلك عبر البحث بالكلمات المفتاحية أو البحث الدلالي أو مزيج بينهما.

الفوائد في أنظمة RAG

• استرجاع معزز: تُسترجع مستندات أكثر ملاءمة، مما يوفر سياقًا أفضل لـ LLM.
• تجربة مستخدم محسنة: يحصل المستخدمون على إجابات أكثر دقة وغنى بالمعلومات.

فهم إعادة ترتيب المستندات

لماذا إعادة الترتيب ضرورية

• قيود الاسترجاع الأولي: قد تعتمد طرق الاسترجاع الأولية على معايير عامة للتشابه، والتي قد لا تلتقط الصِلات الدقيقة.
• التغلب على الضوضاء: قد يُدخل توسيع الاستعلام مستندات أقل صلة؛ تعيد إعادة الترتيب تصفية هذه النتائج.
• تحسين سياق LLM: توفير المستندات الأكثر صلة يعزز جودة الإجابات التي يولدها النموذج اللغوي الكبير.

طرق إعادة ترتيب المستندات

1. نماذج الكروس إنكودر

نظرة عامة

الكروس إنكودر هي نماذج شبكات عصبية تستقبل زوجًا من المدخلات (الاستعلام ومستند) وتنتج درجة صلة. بخلاف البي-إنكودر الذي يرمز الاستعلام والمستند بشكل منفصل، يقوم الكروس إنكودر بمعالجتهما معًا، مما يسمح بتفاعل أكثر غنى بين الاثنين.

كيف تعمل الكروس إنكودر

• إقران المدخلات: يُقرن كل مستند مع الاستعلام.
• الترميز المشترك: يرمز النموذج الزوج معًا، ملتقطًا التفاعلات.
• التسجيل: ينتج درجة صلة لكل مستند.
• الترتيب: تُرتب المستندات بناءً على هذه الدرجات.

المزايا

• دقة عالية: يوفر تقييمات صلة أكثر دقة.
• فهم سياقي: يلتقط العلاقات المعقدة بين الاستعلام والمستند.

التحديات

• كثيف حسابيًا: يتطلب قوة معالجة كبيرة، خاصة مع مجموعات مستندات ضخمة.

2. ColBERT (نماذج التفاعل المتأخر)

ما هو ColBERT؟

ColBERT (التفاعل المتأخر السياقي عبر BERT) هو نموذج استرجاع مصمم لتحقيق التوازن بين الكفاءة والفعالية. يستخدم آلية تفاعل متأخر تتيح مقارنة مفصلة بين رموز الاستعلام والمستند دون تكاليف حسابية عالية.

كيف يعمل ColBERT

• ترميز على مستوى الرموز: يرمز رموز الاستعلام والمستند بشكل منفصل باستخدام BERT.
• التفاعل المتأخر: أثناء التقييم، يقارن رموز الاستعلام والمستند باستخدام مقاييس تشابه.
• الكفاءة: يتيح حساب تمثيلات المستندات مسبقًا.

المزايا

• تقييم فعال: أسرع من الكروس إنكودر الكامل.
• استرجاع فعال: يحافظ على جودة استرجاع عالية.

حالات الاستخدام

• مناسب للاسترجاع على نطاق واسع عند محدودية الموارد الحاسوبية.

3. FlashRank

نظرة عامة

FlashRank مكتبة خفيفة وسريعة لإعادة الترتيب تستخدم أحدث الكروس إنكودر. صُممت لتتكامل بسهولة مع الأنظمة القائمة وتحسين أداء إعادة الترتيب بأقل عبء ممكن.

الميزات

• سهولة الاستخدام: واجهة برمجية بسيطة للدمج السريع.
• السرعة: محسنة لإعادة ترتيب سريعة.
• الدقة: تعتمد نماذج فعالة لإعادة ترتيب عالية الجودة.

مثال للاستخدام

from flashrank import Ranker, RerankRequest

query = 'ما هي العوامل الأكثر أهمية التي ساهمت في زيادة الإيرادات؟'

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")
rerank_request = RerankRequest(query=query, passages=documents)
results = ranker.rerank(rerank_request)

الفوائد

• تبسيط إعادة الترتيب: تجرد تعقيدات التعامل مع النماذج.
• تحسين الأداء: توازن بين السرعة والدقة بفعالية.

تنفيذ إعادة ترتيب المستندات في أنظمة RAG

العملية

1. الاسترجاع الأولي: استخدم الاستعلام الموسع لاسترجاع مجموعة من المستندات المرشحة.
2. إعادة الترتيب: طبق نموذج إعادة ترتيب (مثل كروس إنكودر أو ColBERT) لتقييم مدى صلة كل مستند.
3. الاختيار: اختر المستندات الأعلى تصنيفًا لاستخدامها كسياق لـ LLM.

الاعتبارات

• الموارد الحاسوبية: قد تكون إعادة الترتيب كثيفة الموارد؛ يجب تحقيق توازن بين الأداء والتكلفة.
• اختيار النموذج: اختر نماذج تناسب متطلبات التطبيق من حيث الدقة والكفاءة.
• الدمج: تأكد من أن إعادة الترتيب تتكامل بسلاسة مع خط الأنابيب القائم.

الجمع بين توسيع الاستعلام وإعادة ترتيب المستندات في RAG

التكامل بين توسيع الاستعلام وإعادة الترتيب

تقنيات مكملة

• توسيع الاستعلام يوسع نطاق البحث، فيسترجع مستندات أكثر.
• إعادة ترتيب المستندات تصقل هذه النتائج، مع التركيز على الأكثر صلة.

فوائد الدمج

• تحسين الاستدعاء والدقة: معًا، يحسنان كمية وجودة المستندات المسترجعة.
• استرجاع قوي: يعالج قيود كل طريقة عند استخدامها منفردة.
• تحسين مخرجات LLM: يوفر سياقًا أفضل، مما يؤدي إلى إجابات أدق وأكثر فائدة.

كيف يعملان معًا

1. إدخال استعلام المستخدم: يُستقبل الاستعلام الأصلي.
2. توسيع الاستعلام: يُوسع الاستعلام باستخدام طرق مثل التوسيع المعتمد على LLM، لينتج استعلامًا بحثيًا أكثر شمولًا.
3. الاسترجاع الأولي: يُستخدم الاستعلام الموسع لاسترجاع مجموعة واسعة من المستندات.
4. إعادة ترتيب المستندات: تُقيم نماذج إعادة الترتيب المستندات وتعيد ترتيبها بناءً على الصلة بالاستعلام الأصلي.
5. توفير السياق: تُقدم المستندات الأعلى تصنيفًا إلى LLM كسياق.
6. توليد الإجابة: يولد LLM إجابة مستندة إلى المستندات الأكثر صلة.

خطوات التنفيذ العملي

سير العمل كمثال

• توسيع الاستعلام مع LLM:

  def expand_query(query):
      prompt = f"قدم استعلامات إضافية ذات صلة حول: '{query}'"
      expanded_queries = llm.generate(prompt)
      expanded_query = ' '.join([query] + expanded_queries)
      return expanded_query
  

• الاسترجاع الأولي:

  documents = vector_db.retrieve_documents(expanded_query)
  

• إعادة ترتيب المستندات:

  from sentence_transformers import CrossEncoder
  cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
  pairs = [[query, doc.text] for doc in documents]
  scores = cross_encoder.predict(pairs)
  ranked_docs = [doc for _, doc in sorted(zip(scores, documents), reverse=True)]
  

• اختيار المستندات الأعلى:

  top_documents = ranked_docs[:top_k]
  

• توليد الإجابة مع LLM:

  context = '\n'.join([doc.text for doc in top_documents])
  prompt = f"أجب على السؤال التالي باستخدام السياق المقدم:\n\nالسؤال: {query}\n\nالسياق:\n{context}"
  response = llm.generate(prompt)
  

المتابعة والتحسين

• مقاييس الأداء: قم بقياس فعالية الاسترجاع بانتظام باستخدام مقاييس مثل الدقة، والاستدعاء، ودرجات الصلة.
• تغذية راجعة: دمج ملاحظات المستخدمين لتحسين استراتيجيات توسيع الاستعلام وإعادة الترتيب.
• إدارة الموارد: تحسين استهلاك الموارد الحاسوبية، مثل التخزين المؤقت للنتائج أو تقييد عدد المستندات المعاد ترتيبها.

حالات الاستخدام والأمثلة

المثال 1: تعزيز شات بوت الذكاء الاصطناعي للدعم الفني

الموقف

تستخدم شركة شات بوت ذكاء اصطناعي لمعالجة استفسارات العملاء حول منتجاتها وخدماتها. غالبًا ما يطرح العملاء الأسئلة بطرق متنوعة وباستخدام مصطلحات أو عبارات مختلفة.

التحديات

• تنوع لغة العملاء والمصطلحات المستخدمة.
• الحاجة إلى إجابات دقيقة وسريعة للحفاظ على رضا العملاء.

التنفيذ

• توسيع الاستعلام: يقوم الشات بوت بتوسيع استفسارات العملاء ليشمل المرادفات والمصطلحات ذات الصلة.
  على سبيل المثال، إذا سأل العميل: “كيف أصلح جهازي؟"، يُوسع الاستعلام ليشمل عبارات مثل “إصلاح الجهاز”، “استكشاف أعطال الجهاز”، إلخ.
• إعادة ترتيب المستندات: تُعاد ترتيب المقالات والدلائل المسترجعة لإعطاء الأولوية للحلول الأكثر صلة. تقوم الكروس إنكودر بتقييم مدى صلة كل مستند بمشكلة العميل المحددة.

الفوائد

• دقة وملاءمة أعلى في الردود.
• زيادة رضا العملاء وتقليل أوقات حل المشكلات.

المثال 2: تحسين أدوات البحث العلمي المدعومة بالذكاء الاصطناعي

الموقف

يستخدم الباحثون مساعد ذكاء اصطناعي للعثور على أوراق علمية وبيانات وأفكار ذات صلة بأعمالهم.

التحديات

• استعلامات معقدة تحتوي على مصطلحات متخصصة.
• كميات ضخمة من الأدبيات العلمية يجب تصفيتها.

التنفيذ

• توسيع الاستعلام: يستخدم المساعد LLMs لتوسيع الاستعلامات بمفاهيم ومرادفات ذات صلة.
  يُوسع استعلام مثل “تطبيقات التشابك الكمي” ليشمل “استخدامات التشابك الكمي”، “التشابك الكمي في الحوسبة”، إلخ.
• إعادة ترتيب المستندات: تُعاد ترتيب الأوراق العلمية بناءً على مدى الصلة …