توليد معزز بالتخزين المؤقت (CAG)

ما هو التوليد المعزز بالتخزين المؤقت (CAG)؟

التوليد المعزز بالتخزين المؤقت (CAG) هو نهج مبتكر لتعزيز أداء وكفاءة نماذج اللغة الكبيرة (LLMs) من خلال الاستفادة من المعرفة المحملة مسبقًا على شكل ذاكرة مفاتيح وقيم (KV) محسوبة مسبقًا.

على عكس التوليد المعزز بالاسترجاع (RAG) الذي يسترجع المعرفة الخارجية ديناميكيًا أثناء التنفيذ، يقوم CAG بإلغاء خطوات الاسترجاع تمامًا عبر إدخال جميع المعرفة ذات الصلة مباشرة في نافذة السياق الموسعة للنموذج قبل التنفيذ. تتيح هذه الاستراتيجية للنموذج إنتاج الإجابات باستخدام المعلومات المحسوبة مسبقًا، مما يقلل بشكل كبير من زمن الاستجابة ويبسط بنية النظام.

من خلال تخزين المعرفة المعالجة في ذاكرة مفاتيح وقيم، يضمن CAG أن النموذج لديه وصول فوري إلى السياق اللازم للإجابة على الاستفسارات. ويعد هذا النهج مفيدًا بشكل خاص في السيناريوهات التي تكون فيها قاعدة المعرفة ثابتة أو صغيرة نسبيًا أو عندما يكون زمن الاستجابة المنخفض أولوية.

كيف يعمل CAG؟

يعمل CAG عبر ثلاث مراحل رئيسية:

1. تحميل المعرفة الخارجية مسبقًا

• يتم تحميل جميع الوثائق أو مجموعات البيانات ذات الصلة إلى نافذة سياق النموذج قبل التنفيذ.

• تتم معالجة المحتوى المحمّل إلى ذاكرة مفاتيح وقيم (KV) تلتقط التمثيل الداخلي للنموذج للمعرفة. على سبيل المثال:

  def preprocess_knowledge(model, tokenizer, prompt):
      input_ids = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
      past_key_values = DynamicCache()
      outputs = model(input_ids=input_ids, past_key_values=past_key_values, use_cache=True)
      return outputs.past_key_values
  

تضمن هذه الخطوة أن النموذج لديه وصول فوري إلى المعرفة المعالجة مسبقًا، متجاوزًا الحاجة إلى الاسترجاع في الوقت الفعلي.

2. التنفيذ باستخدام التخزين المؤقت المحسوب مسبقًا

• عند تقديم استفسار، يتم دمج ذاكرة المفاتيح والقيم المحسوبة مسبقًا مع إدخال الاستعلام.

• يُنتج النموذج إجابة معتمدًا فقط على المعرفة المخزنة والاستعلام، دون حسابات إضافية لاسترجاع المعرفة. على سبيل المثال:

  def generate_response(model, query, kv_cache):
      input_ids = tokenizer.encode(query, return_tensors="pt").to(model.device)
      output_ids = model(input_ids=input_ids, past_key_values=kv_cache, use_cache=True)
      return tokenizer.decode(output_ids)
  

3. إدارة التخزين المؤقت

• مع معالجة الاستفسارات الجديدة، تنمو الذاكرة المؤقتة. تقوم آلية إعادة الضبط بقطع الذاكرة إلى طولها الأصلي للحفاظ على الأداء وضمان تقييم الاستفسارات اللاحقة ضمن السياق المقصود. مثال على إعادة ضبط الذاكرة:

  def clean_up(kv_cache, original_length):
      for i in range(len(kv_cache.key_cache)):
          kv_cache.key_cache[i] = kv_cache.key_cache[i][:, :, :original_length, :]
          kv_cache.value_cache[i] = kv_cache.value_cache[i][:, :, :original_length, :]
  

المزايا الرئيسية لـ CAG

1. زمن استجابة منخفض
   نظرًا لعدم الحاجة إلى الاسترجاع في الوقت الفعلي، يوفر CAG أوقات استجابة أسرع من RAG، مما يجعله مثاليًا للتطبيقات الحساسة للوقت.

2. دقة محسنة
   من خلال تحميل جميع الوثائق ذات الصلة مسبقًا، يضمن CAG معالجة النموذج لمجموعة بيانات شاملة، مما يقلل من مخاطر فقدان السياق أو أخطاء الاسترجاع.

3. بنية مبسطة
   على عكس RAG الذي يتطلب خط أنابيب استرجاع معقدًا، فإن بنية CAG مبسطة، مما يقلل من تعقيد النظام وأعباء الصيانة.

4. كفاءة على نطاق واسع
   بمجرد تحميل المعرفة وتخزينها مؤقتًا، تتم معالجة الاستفسارات اللاحقة بأقل عبء حسابي، مما يجعل CAG فعالًا للاستعلامات المتكررة ضمن نفس مجال المعرفة.

قيود CAG

1. حجم نافذة السياق
   يعتمد CAG على نافذة السياق للنموذج لتحميل المعرفة. تدعم النماذج الحالية نوافذ سياق تصل إلى 128,000 رمز، مما يحد من كمية المعرفة التي يمكن تحميلها مسبقًا.

2. حجم قاعدة المعرفة
   يناسب CAG أفضل القواعد المعرفية الثابتة والقابلة للإدارة. بالنسبة لمجموعات البيانات الكبيرة أو الديناميكية، قد يواجه النموذج صعوبة في استيعاب جميع المعلومات ذات الصلة داخل نافذة السياق.

3. المعرفة الثابتة
   يفترض CAG أن قاعدة المعرفة تظل دون تغيير أثناء التنفيذ. وهو أقل فاعلية في الحالات التي تتطلب تحديثات في الوقت الفعلي أو دمج معرفة ديناميكية.

4. التكاليف
   تؤدي النوافذ السياقية الكبيرة إلى زيادة التكاليف الحسابية أثناء التحميل المسبق، مما يجعل CAG أقل اقتصادًا في السيناريوهات التي تتطلب تحديثات متكررة أو تغييرات في قاعدة المعرفة.

كيف يُستخدم CAG؟

تطبيقات عملية

يُطبق CAG عادة في السيناريوهات التي تكون فيها قاعدة المعرفة ثابتة وقابلة للإدارة وزمن الاستجابة المنخفض أمر حاسم:

• روبوتات الدردشة لخدمة العملاء
  مثال: تحميل خطوات استكشاف الأعطال الشائعة لمنتجات برمجية مسبقًا لتوفير إجابات فورية للمستخدمين.
  الفائدة: يلغي أخطاء الاسترجاع ويسرع أوقات الرد.

• تحليل الوثائق
  مثال: المؤسسات المالية التي تحلل التقارير الفصلية أو المكاتب القانونية التي تستعلم الوثائق التنظيمية.
  الفائدة: يضمن استجابات دقيقة ومتسقة من خلال تحميل جميع الوثائق ذات الصلة للنموذج.

• المساعدون الصحيون
  مثال: تحميل الإرشادات الطبية مسبقًا لمساعدة استفسارات المرضى.
  الفائدة: يحافظ على استمرارية الحوار متعدد الأدوار ويضمن الإحالة الدقيقة.

• التعليم والتدريب
  مثال: الإجابة على الأسئلة الشائعة في برامج التدريب المؤسسية.
  الفائدة: يبسط النشر مع ضمان استجابات متسقة.

مقارنة مع التوليد المعزز بالاسترجاع (RAG)

أمثلة على حالات الاستخدام

CAG في التطبيق العملي

1. أنظمة الموارد البشرية
   تستخدم شركة ما CAG لتحميل سياسات الموظفين إلى النموذج. يمكن للموظفين الاستفسار عن إرشادات محددة وتُنتج الإجابات فورًا.

2. المساعدة القانونية
   يقوم مساعد قانوني بتحميل القوانين ذات الصلة في سياق النموذج لتقديم إجابات سريعة على الاستفسارات القانونية دون استخدام نظام استرجاع.

3. خدمة العملاء
   يستخدم روبوت دردشة منتج SaaS CAG لتحميل الأسئلة الشائعة وأدلة استكشاف الأخطاء، ما يضمن تفاعلًا سلسًا وسريعًا مع العملاء.

RAG للسيناريوهات الديناميكية

1. تجميع الأخبار
   يستخدم تطبيق أخبار RAG لجلب وتلخيص أحدث المقالات، واسترجاع المعلومات الأكثر صلة باستفسارات المستخدمين ديناميكيًا.

2. بحث التجارة الإلكترونية
   يُستخدم RAG لاسترجاع تفاصيل المنتجات وتوافرها من كتالوج كبير ومتجدد باستمرار.

3. منصات البحث العلمي
   توظف منصة أبحاث علمية RAG لجلب الدراسات والأوراق ذات الصلة من قواعد بيانات خارجية ضخمة.

مثال على التنفيذ: تحميل المعرفة في بايثون

يوضح مقتطف الشيفرة التالي في بايثون كيفية تحميل المعرفة في نموذج CAG:

def preprocess_knowledge(model, tokenizer, prompt):
    input_ids = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
    past_key_values = DynamicCache()
    outputs = model(input_ids=input_ids, past_key_values=past_key_values, use_cache=True)
    return outputs.past_key_values

تضمن هذه الآلية أن النموذج يعالج الاستفسارات دون الحاجة لاسترجاع خارجي، مما يمكّن من أداء فعّال وزمن استجابة منخفض.

متى يُستخدم CAG

1. قواعد المعرفة الثابتة
   مثالي للحالات التي من غير المحتمل أن تتغير فيها قاعدة المعرفة كثيرًا.

2. تطبيقات زمن الاستجابة المنخفض
   مناسب لخدمة العملاء أو التعليم أو الأنظمة الصحية حيث تكون الاستجابات السريعة ضرورية.

3. السيناريوهات الاقتصادية
   مفيد عندما تظل المعرفة المحملة مسبقًا متسقة عبر استفسارات متعددة، مما يقلل من العبء الحسابي.

يعد CAG بديلاً فعالًا لـ RAG في المهام التي تتطلب السرعة والبساطة والثبات. ومع ذلك، فهو مقيد بحجم وطبيعة قاعدة المعرفة الثابتة.

أبحاث حول التوليد المعزز بالتخزين المؤقت (CAG)

1. التخزين المؤقت السياقي التكيفي لخدمة نماذج اللغة الكبيرة في الحوسبة الطرفية المتنقلة

المؤلفون: غوانغيوان ليو، ينكيو ليو، جيا تشينغ وانغ، هونغ يانغ دو، دوسيت نياتو، جياوين كانغ، زيهوي شيونغ

تتناول هذه الورقة التحديات التي تواجه نشر نماذج اللغة الكبيرة (LLM) في الحوسبة الطرفية المتنقلة مثل الموارد الحسابية المحدودة وزمن الاسترجاع العالي. وتقترح إطار عمل التخزين المؤقت السياقي التكيفي (ACC)، الذي يستخدم التعلم العميق المعزز لتحسين سياسات استبدال الذاكرة المؤقتة مع مراعاة سياق المستخدم، وتشابه الوثائق، وتكاليف فقدان الذاكرة المؤقتة. تظهر النتائج التجريبية أن ACC يحقق معدلات إصابة بالذاكرة المؤقتة تزيد عن 80% بعد 11 حلقة تدريبية، ويقلل زمن الاسترجاع بنسبة تصل إلى 40% مقارنة بالطرق التقليدية. علاوة على ذلك، يقلل من عبء التخزين المؤقت المحلي بنسبة تصل إلى 55%، مما يجعله مناسبًا لخدمات LLM القابلة للتوسع وذات الزمن المنخفض في البيئات محدودة الموارد. وتبرز الدراسة إمكانيات ACC في تحسين الكفاءة بأنظمة LLM الطرفية.
اقرأ الورقة هنا

2. نحو توليد LLM معزز بالسياق أكثر اقتصادًا عبر إعادة استخدام ذاكرة المفاتيح والقيم المخزنة

المؤلفون: هانشين لي، يوهان ليو، يي هوا تشينغ، كونتاي دو، جونشن جيانغ

تستكشف هذه الدراسة إعادة استخدام ذاكرة المفاتيح والقيم (KV) لتقليل تأخير التهيئة في تطبيقات LLM، خاصة للنصوص المدخلة المتكررة. وتبحث في مدى الجدوى الاقتصادية لهذا النهج عند استخدام خدمات السحابة العامة للتخزين والمعالجة. يقترح المؤلفون نموذجًا تحليليًا للتحقق من صحة تكاليف السحابة (في الحوسبة والتخزين والشبكة) لتخزين وإعادة استخدام الذاكرة المؤقتة KV في ظل معلمات عبء عمل متنوعة. وتوضح الدراسة أن إعادة استخدام ذاكرة KV توفر الوقت والتكلفة للعبء الذي يتطلب سياقات طويلة، مما يشجع على مزيد من الجهود لبناء أنظمة LLM معززة بالسياق أكثر اقتصادًا.
اقرأ الورقة هنا

3. MPIC: نظام تخزين مؤقت للسياق متعدد الوسائط مستقل عن الموضع لخدمة MLLM الفعّالة

المؤلفون: شيجو تشاو، جونهاو هو، رونغشياو هوانغ، جياشي تشنغ، جويهواي تشين

تقدم هذه الورقة MPIC، وهو نظام تخزين مؤقت للسياق متعدد الوسائط ومستقل عن الموضع، يهدف إلى معالجة عدم الكفاءة في تنفيذ نماذج اللغة الكبيرة متعددة الوسائط (MLLM). تعيد الأنظمة التقليدية حساب ذاكرة المفاتيح والقيم بالكامل حتى في حال وجود اختلافات طفيفة في السياق، مما يؤدي إلى عدم الكفاءة. يقدم MPIC نظام تخزين مؤقت مستقل عن الموضع يخزن ذاكرات المفاتيح والقيم محليًا أو عن بُعد ويوازي حساب وتحميل الذاكرة أثناء التنفيذ. وتخفف آليات إعادة الاستخدام وإعادة الحساب من تدهور الدقة مع تحقيق تقليل في زمن الاستجابة بنسبة تصل إلى 54% مقارنة بالطرق التقليدية. وتبرز هذه الدراسة إمكانية تحسين الكفاءة في أنظمة خدمة LLM متعددة الوسائط.
اقرأ الورقة هنا