llms.txt

ما هو llms.txt؟

ملف llms.txt هو ملف نصي موحد بصيغة Markdown صُمم لتحسين كيفية وصول نماذج اللغة الكبيرة (LLMs) إلى المعلومات من المواقع الإلكترونية وفهمها ومعالجتها. يُستضاف هذا الملف في مسار الجذر للموقع (مثال: /llms.txt) ويعمل كفهرس منسق يوفر محتوى منظمًا وملخصًا ومُحسّنًا خصيصًا للاستهلاك الآلي أثناء الاستدلال. هدفه الأساسي هو تجاوز تعقيدات محتوى HTML التقليدي—مثل قوائم التنقل، والإعلانات، والجافاسكريبت—من خلال تقديم بيانات واضحة وسهلة القراءة للبشر والآلات على حد سواء.

وعلى عكس معايير الويب الأخرى مثل robots.txt أو sitemap.xml، فإن llms.txt موجه خصيصًا لمحركات الاستدلال مثل ChatGPT وClaude وGoogle Gemini، وليس لمحركات البحث. فهو يساعد أنظمة الذكاء الاصطناعي في استرجاع أكثر المعلومات أهمية وقيمة ضمن حدود نوافذ السياق الخاصة بها، والتي غالبًا ما تكون صغيرة جدًا لاستيعاب محتوى الموقع بالكامل.

أصل llms.txt

تم اقتراح المفهوم بواسطة جيريمي هوارد، الشريك المؤسس لـ Answer.AI، في سبتمبر 2024. وقد ظهر كحل لمشاكل عدم كفاءة الـ LLMs عند التفاعل مع المواقع المعقدة. غالبًا ما تؤدي الطرق التقليدية لمعالجة صفحات HTML إلى هدر الموارد الحسابية وسوء تفسير المحتوى. من خلال إنشاء معيار مثل llms.txt، يمكن لمالكي المواقع ضمان تحليل محتواهم بدقة وفعالية بواسطة أنظمة الذكاء الاصطناعي.

كيف يُستخدم llms.txt؟

يخدم ملف llms.txt عدة أغراض عملية، خاصة في مجال الذكاء الاصطناعي والتفاعلات المدعومة بالـ LLMs. تتيح بنيته المنظمة استرجاع ومعالجة محتوى المواقع بكفاءة من قبل الـ LLMs، متغلبًا على القيود المتعلقة بحجم نافذة السياق وكفاءة المعالجة.

بنية ملف llms.txt

يتبع ملف llms.txt مخططًا محددًا قائمًا على Markdown لضمان التوافق مع البشر والآلات. تشمل البنية:

1. عنوان H1: عنوان الموقع أو المشروع.
2. ملخص في اقتباس: وصف مختصر أو ملخص لهدف الموقع وأهم ميزاته.
3. أقسام تفصيلية: أقسام حرة (مثل فقرات أو قوائم) لمزيد من السياق أو التفاصيل الهامة.
4. قوائم موارد مفصولة بعناوين H2: روابط مصنفة إلى موارد هامة مثل التوثيق أو الواجهات البرمجية أو المراجع الخارجية. يمكن لكل رابط أن يتضمن وصفًا موجزًا لمحتواه.
5. قسم اختياري (## اختياري): مخصص للموارد الثانوية التي يمكن حذفها لتوفير مساحة في نافذة السياق الخاصة بـ LLM.

مثال:

# موقع المثال  
> منصة لمشاركة المعرفة والموارد حول الذكاء الاصطناعي.  

## التوثيق  
- [دليل البدء السريع](https://example.com/docs/quickstart.md): دليل سهل للمبتدئين للانطلاق.  
- [مرجع API](https://example.com/docs/api.md): توثيق API مفصل.  

## السياسات  
- [شروط الخدمة](https://example.com/terms.md): الإرشادات القانونية لاستخدام المنصة.  
- [سياسة الخصوصية](https://example.com/privacy.md): معلومات حول التعامل مع البيانات وخصوصية المستخدمين.  

## اختياري  
- [تاريخ الشركة](https://example.com/history.md): جدول زمني لأهم الإنجازات والمحطات.

الميزات الرئيسية

• تنقل قابل للقراءة آليًا: يوفر عرضًا مبسطًا لبنية الموقع، مما يسهل على الـ LLMs تحديد المحتوى ذي الصلة.
• صيغة Markdown: تضمن قابلية القراءة للبشر مع السماح بالتحليل البرمجي عبر أدوات مثل الـ parsers أو regex.
• تحسين السياق: تساعد الـ LLMs على إعطاء الأولوية للمحتوى القيم باستبعاد العناصر غير الضرورية مثل الإعلانات أو الجافاسكريبت.

حالات الاستخدام

1. التوثيق التقني: يمكن للمطورين ربط مراجع API وأدلة البدء السريع وغيرها من الموارد التقنية لتسهيل عمل مساعدي البرمجة مثل GitHub Copilot أو Codeium.
2. التجارة الإلكترونية: يمكن لمتاجر البيع عبر الإنترنت استخدام llms.txt لتوجيه أنظمة الذكاء الاصطناعي إلى تصنيفات المنتجات وسياسات الإرجاع وأدلة المقاسات.
3. التعليم: يمكن للجامعات إبراز المناهج الدراسية والجداول وسياسات التسجيل لمساعدي الطلاب المدعومين بالذكاء الاصطناعي.
4. الأسئلة المتكررة للشركات: يمكن للشركات تبسيط دعم العملاء عبر ربط الأسئلة الشائعة وأدلة الحلول والوثائق السياساتية.

أمثلة على llms.txt قيد الاستخدام

1. FastHTML

تستخدم مكتبة FastHTML، وهي مكتبة بايثون لبناء تطبيقات ويب تعتمد على العرض من جهة الخادم، ملف llms.txt لتبسيط الوصول إلى توثيقها. يتضمن الملف روابط لأدلة البدء السريع ومراجع HTMX وتطبيقات الأمثلة، مما يضمن أن المطورين يستطيعون الوصول السريع للموارد المهمة.

مقطع مثال:

# FastHTML  
> مكتبة بايثون لإنشاء تطبيقات hypermedia تُعرض من جهة الخادم.  

## التوثيق  
- [البدء السريع](https://fastht.ml/docs/quickstart.md): نظرة عامة على الميزات الرئيسية.  
- [مرجع HTMX](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): جميع سمات وطرق HTMX.  

2. Nike (مثال افتراضي)

يمكن لعملاق التجارة الإلكترونية مثل Nike استخدام ملف llms.txt لتوفير معلومات للأنظمة الذكية حول خطوط منتجاتهم، ومبادرات الاستدامة، وسياسات دعم العملاء.

مقطع مثال:

# Nike  
> رائد عالمي في الأحذية والملابس الرياضية، مع التركيز على الاستدامة والابتكار.  

## خطوط المنتجات  
- [أحذية الجري](https://nike.com/products/running.md): تفاصيل حول تقنيتي React foam وVaporweave.  
- [مبادرات الاستدامة](https://nike.com/sustainability.md): أهداف 2025 والمواد الصديقة للبيئة.  

## دعم العملاء  
- [سياسة الإرجاع](https://nike.com/returns.md): نافذة إرجاع لمدة 60 يومًا والاستثناءات.  
- [أدلة المقاسات](https://nike.com/sizing.md): جداول الأحجام للأحذية والملابس.

llms.txt مقابل Robots.txt مقابل Sitemap.xml

المقارنة

رغم أن المعايير الثلاثة صُممت لمساعدة الأنظمة الآلية، إلا أن أغراضها والجمهور المستهدف تختلف بشكل كبير.

• llms.txt:

  • الجمهور: نماذج اللغة الكبيرة (مثل ChatGPT وClaude وGoogle Gemini).
  • الغرض: يوفر محتوى منسقًا ومحسنًا للسياق لغرض الاستدلال.
  • الصيغة: Markdown.
  • حالة الاستخدام: التفاعلات المدعومة بالذكاء الاصطناعي ومحركات الاستدلال.

• robots.txt:

  • الجمهور: زواحف محركات البحث.
  • الغرض: التحكم في سلوك الزحف والفهرسة.
  • الصيغة: نص عادي.
  • حالة الاستخدام: تحسين محركات البحث وإدارة الوصول.

• sitemap.xml:

  • الجمهور: محركات البحث.
  • الغرض: سرد جميع الصفحات القابلة للفهرسة بالموقع.
  • الصيغة: XML.
  • حالة الاستخدام: تحسين محركات البحث واكتشاف المحتوى.

مزايا llms.txt الرئيسية

1. تحسين مخصص للذكاء الاصطناعي: على عكس robots.txt وsitemap.xml، صُمم llms.txt لمحركات الاستدلال وليس لمحركات البحث التقليدية.
2. تقليل التشويش: يركز فقط على المحتوى القيم والقابل للقراءة آليًا، مع حذف العناصر غير الضرورية مثل الإعلانات أو قوائم التنقل.
3. تكامل مع Markdown: يتماشى مع الصيغة الصديقة لـ LLMs لتسهيل التحليل والمعالجة.

التكامل والأدوات

إنشاء ملف llms.txt

• الإنشاء اليدوي: استخدم محرر نصوص لكتابة الملف بصيغة Markdown.
• الأدوات الآلية:
  • Mintlify: تُولد تلقائيًا ملفات llms.txt وllms-full.txt للتوثيق المُستضاف.
  • مولد Firecrawl: يقوم بجلب موقعك وإنشاء llms.txt.

الاستضافة والتحقق

• ضع الملف في دليل الجذر لموقعك (مثال: https://example.com/llms.txt).
• تحقق من الملف باستخدام أدوات مثل llms_txt2ctx لضمان الامتثال للمعيار.

التكامل مع أنظمة الذكاء الاصطناعي

• الرفع المباشر: تسمح بعض أدوات الذكاء الاصطناعي للمستخدمين برفع ملفات llms.txt أو llms-full.txt مباشرة (مثل Claude أو ChatGPT).
• الأطر البرمجية: استخدم أدوات مثل LangChain أو LlamaIndex لدمج الملف ضمن سير عمل الاسترجاع المعزز بالتوليد.

التحديات والاعتبارات

1. تبني مزودي LLM الكبار: رغم أن llms.txt اكتسب شعبية بين المطورين والمنصات الصغيرة، إلا أنه لم يُعتمد رسميًا بعد من قبل مزودي LLM الكبار مثل OpenAI أو Google.
2. الصيانة: يجب تحديث الملف بانتظام ليعكس تغييرات المحتوى أو البنية.
3. قيود نافذة السياق: بالنسبة للتوثيقات الكبيرة، قد يتجاوز ملف llms-full.txt حجم نافذة السياق لبعض الـ LLMs.

ورغم هذه التحديات، يُمثل llms.txt نهجًا متقدمًا لتحسين المحتوى للأنظمة المدعومة بالذكاء الاصطناعي. من خلال اعتماد هذا المعيار، تضمن المؤسسات وصول المحتوى الخاص بها بدقة وأولوية في عالم يركز على الذكاء الاصطناعي.

بحث: نماذج اللغة الكبيرة (LLMs)

أصبحت نماذج اللغة الكبيرة (LLMs) تقنية مهيمنة في معالجة اللغة الطبيعية، حيث تقود تطبيقات مثل الدردشة الآلية، ومراقبة المحتوى، ومحركات البحث. في ورقة “ضائع في الترجمة: نماذج اللغة الكبيرة في تحليل المحتوى غير الإنجليزي” لنيكولاس وباتيا (2023)، يقدم المؤلفان شرحًا تقنيًا واضحًا لكيفية عمل الـ LLMs، مع تسليط الضوء على فجوة توافر البيانات بين الإنجليزية واللغات الأخرى، ومناقشة الجهود المبذولة لسد هذه الفجوة عبر النماذج متعددة اللغات. توضح الورقة التحديات التي تواجه تحليل المحتوى باستخدام الـ LLMs، خاصة في البيئات متعددة اللغات، وتقدم توصيات للباحثين والشركات وصناع السياسات بشأن تطوير ونشر الـ LLMs. ويؤكد المؤلفان أنه رغم التقدم المحرز، لا تزال هناك قيود كبيرة للغات غير الإنجليزية. اقرأ الورقة

تقدم ورقة “Cedille: نموذج لغوي فرنسي كبير ذاتي الترجيع” لمولر ولوران (2022) نموذج Cedille، وهو نموذج لغوي واسع النطاق خاص باللغة الفرنسية. Cedille مفتوح المصدر ويظهر أداءً متفوقًا في اختبارات اللغة الفرنسية بدون تدريب مسبق مقارنة بالنماذج الحالية، بل ويتفوق على GPT-3 في عدة مهام. كما تقيم الدراسة أمان Cedille، مُظهرة تحسنًا في تقليل السمية بفضل تصفية مجموعة البيانات بعناية. يبرز هذا العمل أهمية وتأثير تطوير نماذج لغوية محسنة للغات معينة. وتؤكد الورقة الحاجة إلى موارد لغوية خاصة لكل لغة في بيئة LLMs. اقرأ الورقة

في ورقة “ما مدى جودة نماذج اللغة الكبيرة التجارية في اللغات الأفريقية؟” لأوجو وأوجيجي (2023)، يقيم المؤلفان أداء الـ LLMs التجارية على اللغات الأفريقية في مهام الترجمة وتصنيف النصوص. وتظهر نتائجهم أن هذه النماذج غالبًا ما تؤدي أداءً ضعيفًا في اللغات الأفريقية، مع نتائج أفضل في التصنيف مقارنة بالترجمة. ويغطي التحليل ثماني لغات أفريقية من عائلات ومناطق لغوية مختلفة. ويدعو المؤلفان إلى تمثيل أكبر للغات الأفريقية في النماذج التجارية، بالنظر إلى تزايد استخدامها. وتبرز هذه الدراسة الفجوات الحالية والحاجة إلى تطوير نماذج لغوية أكثر شمولاً. اقرأ الورقة

تبحث ورقة “Goldfish: نماذج لغوية أحادية اللغة لـ 350 لغة” لتشانغ وآخرين (2024) في أداء النماذج الأحادية مقابل المتعددة اللغات للغات ضعيفة الموارد. وتبين الدراسة أن النماذج المتعددة غالبًا ما تقدم أداءً أضعف من نماذج bigram البسيطة في العديد من اللغات (وفقًا لمقياس FLORES perplexity). ويقدم Goldfish نماذج لغوية أحادية مدربة على 350 لغة، مما يحسن الأداء بشكل ملحوظ للغات ضعيفة الموارد. ويوصي المؤلفون بتطوير نماذج موجهة خصيصًا للغات الأقل تمثيلًا. ويسهم هذا العمل برؤية هامة حول حدود النماذج متعددة اللغات الحالية وإمكانات البدائل الأحادية اللغة. اقرأ الورقة