llms.txt

llms.txt nedir?

llms.txt dosyası, Büyük Dil Modellerinin (LLM’ler) web sitelerinden bilgiye erişimini, anlamasını ve işlemesini geliştirmek için tasarlanmış, Markdown formatında standartlaştırılmış bir metin dosyasıdır. Bir web sitesinin kök dizininde (örn. /llms.txt) barındırılan bu dosya, özellikle çıkarım sırasında makine tarafından tüketim için optimize edilmiş, yapılandırılmış ve özetlenmiş içerikler sunan düzenlenmiş bir indeks görevi görür. Temel amacı, gezinme menüleri, reklamlar ve JavaScript gibi klasik HTML içeriğinin karmaşıklığını aşarak, hem insan hem de makine tarafından kolayca okunabilen veriler sunmaktır.

robots.txt veya sitemap.xml gibi diğer web standartlarından farklı olarak, llms.txt özellikle arama motorları için değil; ChatGPT, Claude veya Google Gemini gibi çıkarım motorları için uyarlanmıştır. Bu sayede yapay zekâ sistemleri, genellikle tüm bir web sitesinin içeriğini işleyemeyecek kadar küçük olan bağlam pencereleri dahilinde yalnızca en alakalı ve değerli bilgilere ulaşabilir.

llms.txt’nin Kökenleri

Bu kavram, Answer.AI’nin kurucu ortağı Jeremy Howard tarafından Eylül 2024’te önerildi. Karmaşık web siteleriyle etkileşimde LLM’lerin karşılaştığı verimsizliklere çözüm olarak ortaya çıktı. Klasik yöntemlerle HTML sayfalarının işlenmesi, çoğu zaman gereksiz hesaplama maliyetine ve içeriklerin yanlış yorumlanmasına yol açar. llms.txt gibi bir standart oluşturularak, web sitesi sahipleri içeriklerinin yapay zekâ sistemleri tarafından doğru ve verimli bir şekilde analiz edilmesini sağlayabilir.

llms.txt Nasıl Kullanılır?

llms.txt dosyası, özellikle yapay zekâ ve LLM tabanlı etkileşimler alanında çeşitli pratik amaçlara hizmet eder. Yapılandırılmış formatı sayesinde, LLM’lerin web sitesi içeriğini verimli şekilde almasına ve işlemesine olanak tanır; bu da bağlam penceresi boyutları ve işlem verimliliğiyle ilgili kısıtlamaların aşılmasını sağlar.

llms.txt Dosyasının Yapısı

llms.txt dosyası, hem insanlar hem de makinelerle uyumluluğu garantilemek için belirli bir Markdown tabanlı şemayı takip eder. Yapısı şunları içerir:

1. H1 Başlık: Web sitesinin veya projenin başlığı.
2. Blockquote Özeti: Web sitesinin amacı ve temel özelliklerine dair kısa bir açıklama veya özet.
3. Ayrıntılı Bölümler: Ek bağlam veya kritik ayrıntılar için serbest biçimli bölümler (ör. paragraflar veya listeler).
4. H2 ile Ayrılmış Kaynak Listeleri: Dökümantasyon, API’ler veya harici referanslar gibi önemli kaynaklara kategorize edilmiş bağlantılar. Her bağlantının içeriğine dair kısa bir açıklama eklenebilir.
5. İsteğe Bağlı Bölüm (## Optional): LLM’in bağlam penceresinde yer tasarrufu sağlamak amacıyla atlanabilen ikincil kaynaklar için ayrılmıştır.

Örnek:

# Örnek Web Sitesi  
> Yapay zekâ hakkında bilgi ve kaynak paylaşımı için bir platform.  

## Dökümantasyon  
- [Hızlı Başlangıç Rehberi](https://example.com/docs/quickstart.md): Yeni başlayanlar için rehber.  
- [API Referansı](https://example.com/docs/api.md): Detaylı API dökümantasyonu.  

## Politikalar  
- [Kullanım Şartları](https://example.com/terms.md): Platform kullanımına ilişkin yasal kurallar.  
- [Gizlilik Politikası](https://example.com/privacy.md): Veri işleme ve kullanıcı gizliliği hakkında bilgi.  

## Optional  
- [Şirket Tarihçesi](https://example.com/history.md): Önemli kilometre taşları ve başarıların zaman çizelgesi.

Temel Özellikler

• Yapay Zekâya Okunabilir Navigasyon: Web sitesinin yapısını sadeleştirerek LLM’lerin ilgili içeriği daha kolay bulmasını sağlar.
• Markdown Formatı: İnsan tarafından okunabilirliğin yanı sıra, ayrıştırıcılar veya regex gibi araçlarla programatik olarak da analiz edilebilir.
• Bağlam Optimizasyonu: Gereksiz reklam veya JavaScript gibi unsurları hariç tutarak LLM’lerin yüksek değerli içeriklere öncelik vermesini sağlar.

Kullanım Alanları

1. Teknik Dökümantasyon: Geliştiriciler, API referanslarını, hızlı başlangıç rehberlerini ve diğer teknik kaynakları GitHub Copilot veya Codeium gibi kod asistanlarına sunabilir.
2. E-Ticaret: Online perakendeciler, ürün taksonomileri, iade politikaları ve beden tablolarını yapay zekâ sistemlerine yönlendirebilir.
3. Eğitim: Üniversiteler, ders programları, takvimler ve kayıt politikalarını yapay zekâ tabanlı öğrenci asistanlarına vurgulayabilir.
4. Kurumsal SSS: Şirketler, SSS’leri, sorun giderme rehberlerini ve politika belgelerini müşteri desteği için hızlıca erişilebilir kılabilir.

llms.txt Uygulama Örnekleri

1. FastHTML

Python ile sunucu-taraflı web uygulamaları geliştirmek için bir kütüphane olan FastHTML, dokümantasyonuna kolay erişim sağlamak için llms.txt kullanır. Dosyasında, hızlı başlangıç rehberleri, HTMX referansları ve örnek uygulamalara bağlantılar bulunur; böylece geliştiriciler ihtiyaç duydukları kaynaklara hızla ulaşabilir.

Örnek Parça:

# FastHTML  
> Sunucu-taraflı hiper medya uygulamaları oluşturmak için bir Python kütüphanesi.  

## Dökümanlar  
- [Hızlı Başlangıç](https://fastht.ml/docs/quickstart.md): Temel özelliklerin genel bakışı.  
- [HTMX Referansı](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): Tüm HTMX öznitelikleri ve metotları.  

2. Nike (Varsayımsal Örnek)

Nike gibi bir e-ticaret devi, ürün serileri, sürdürülebilirlik girişimleri ve müşteri destek politikaları hakkında yapay zekâ sistemlerine bilgi vermek için bir llms.txt dosyası kullanabilir.

Örnek Parça:

# Nike  
> Sürdürülebilirlik ve inovasyona vurgu yapan, atletik ayakkabı ve giyimde küresel lider.  

## Ürün Serileri  
- [Koşu Ayakkabıları](https://nike.com/products/running.md): React köpük ve Vaporweave teknolojileri hakkında bilgiler.  
- [Sürdürülebilirlik Girişimleri](https://nike.com/sustainability.md): 2025 hedefleri ve çevre dostu materyaller.  

## Müşteri Desteği  
- [İade Politikası](https://nike.com/returns.md): 60 günlük iade süresi ve istisnalar.  
- [Beden Tabloları](https://nike.com/sizing.md): Ayakkabı ve giysi bedenlendirme tabloları.

llms.txt vs. Robots.txt vs. Sitemap.xml

Karşılaştırma

Üç standart da otomatik sistemlere yardımcı olmak için tasarlanmış olsa da, amaçları ve hedef kitleleri önemli ölçüde farklılık gösterir.

• llms.txt:

  • Hedef Kitle: Büyük Dil Modelleri (örn. ChatGPT, Claude, Google Gemini).
  • Amaç: Çıkarım için düzenlenmiş, bağlam-optimize içerik sunmak.
  • Format: Markdown.
  • Kullanım Alanı: Yapay zekâ odaklı etkileşimler ve çıkarım motorları.

• robots.txt:

  • Hedef Kitle: Arama motoru tarayıcıları.
  • Amaç: Tarama ve indeksleme davranışını kontrol etmek.
  • Format: Düz metin.
  • Kullanım Alanı: SEO ve erişim yönetimi.

• sitemap.xml:

  • Hedef Kitle: Arama motorları.
  • Amaç: Sitedeki tüm indekslenebilir sayfaları listelemek.
  • Format: XML.
  • Kullanım Alanı: SEO ve içerik keşfi.

llms.txt’nin Temel Avantajları

1. Yapay Zekâya Özgü Optimizasyon: robots.txt ve sitemap.xml’den farklı olarak, llms.txt klasik arama motorları değil çıkarım motorları için tasarlanmıştır.
2. Gürültü Azaltma: Yalnızca yüksek değerli, makine tarafından okunabilir içeriğe odaklanır; reklam veya gezinme menüsü gibi gereksiz unsurları dışarıda bırakır.
3. Markdown ile Entegrasyon: LLM dostu formatla uyumlu olarak daha kolay ayrıştırma ve işleme sağlar.

Entegrasyon ve Araçlar

llms.txt Dosyası Oluşturmak

• Elle Oluşturma: Bir metin düzenleyiciyle dosyanızı Markdown formatında yazabilirsiniz.
• Otomatik Araçlar:
  • Mintlify: Barındırılan dokümantasyonlar için otomatik olarak llms.txt ve llms-full.txt oluşturur.
  • Firecrawl Generator: Web sitenizi tarayarak llms.txt dosyası oluşturur.

Barındırma ve Doğrulama

• Dosyayı web sitenizin kök dizinine yerleştirin (örn. https://example.com/llms.txt).
• Standarda uygunluğunu sağlamak için llms_txt2ctx gibi araçlarla dosyanızı doğrulayın.

Yapay Zekâ Sistemleriyle Entegrasyon

• Doğrudan Yükleme: Bazı yapay zekâ araçları, kullanıcıların llms.txt veya llms-full.txt dosyalarını doğrudan yüklemesine izin verir (örn. Claude veya ChatGPT).
• Framework’ler: Dosyayı retrieval-augmented generation iş akışlarına entegre etmek için LangChain veya LlamaIndex gibi araçlar kullanılabilir.

Zorluklar ve Dikkat Edilmesi Gerekenler

1. Büyük LLM Sağlayıcıları Tarafından Benimsenme: llms.txt geliştiriciler ve küçük platformlar arasında yaygınlaşmış olsa da, henüz OpenAI veya Google gibi büyük sağlayıcılar tarafından resmi olarak desteklenmemektedir.
2. Bakım: Dosya, içerik veya yapıda değişiklikler oldukça düzenli olarak güncellenmelidir.
3. Bağlam Penceresi Kısıtlamaları: Kapsamlı dökümantasyonlarda, llms-full.txt dosyası bazı LLM’lerin bağlam penceresi boyutunu aşabilir.

Bu zorluklara rağmen, llms.txt yapay zekâ odaklı sistemler için içerik optimizasyonunda ileriye dönük bir yaklaşımı temsil eder. Bu standardı benimseyen kuruluşlar, içeriklerinin erişilebilir, doğru ve yapay zekâ öncelikli dünyada öncelikli olmasını sağlayabilir.

Araştırma: Büyük Dil Modelleri (LLM’ler)

Büyük Dil Modelleri (LLM’ler), sohbet robotları, içerik moderasyonu ve arama motorları gibi uygulamalarda doğal dil işleme için baskın bir teknoloji haline gelmiştir. Nicholas ve Bhatia’nın (2023) “Çeviri Kaybı: Büyük Dil Modelleriyle İngilizce Olmayan İçerik Analizi” başlıklı makalesinde, yazarlar LLM’lerin nasıl çalıştığına dair net bir teknik açıklama sunmakta; İngilizce ile diğer diller arasındaki veri erişim farkına dikkat çekmekte ve çok dilli modellerle bu açığın kapatılmasına yönelik çabaları tartışmaktadır. Makale, özellikle çok dilli bağlamlarda LLM’lerle içerik analizinin zorluklarını detaylandırır ve araştırmacılar, şirketler ve politika yapıcılar için bu modellerin uygulanması ve geliştirilmesine dair öneriler sunar. Yazarlar, ilerleme kaydedilmiş olsa da İngilizce dışındaki diller için önemli sınırlamaların devam ettiğini vurgular. Makaleyi oku

Müller ve Laurent’in (2022) “Cedille: Büyük, Otoregresif Fransızca Dil Modeli” başlıklı makalesi, Fransızca’ya özgü büyük ölçekli bir dil modeli olan Cedille’i tanıtmaktadır. Cedille açık kaynaklıdır ve mevcut modellere kıyasla Fransızca sıfır-atış testlerinde üstün performans gösterir, hatta bazı görevlerde GPT-3 ile rekabet eder. Çalışma ayrıca Cedille’in güvenliğini değerlendirir ve dikkatli veri kümesi filtrelemesiyle toksisiteyi azalttığını gösterir. Bu çalışma, özel dillere optimize edilmiş LLM’lerin önemini ve etkisini vurgular. Makale, LLM ekosisteminde dil-özel kaynaklara duyulan ihtiyacı ortaya koymaktadır. Makaleyi oku

Ojo ve Ogueji’nin (2023) “Ticari Büyük Dil Modelleri Afrika Dillerinde Ne Kadar İyi?” başlıklı çalışması, ticari LLM’lerin hem çeviri hem de metin sınıflandırma görevlerinde Afrika dillerindeki performansını değerlendirmektedir. Bulgular, bu modellerin genellikle Afrika dillerinde düşük performans gösterdiğini, sınıflandırmada ise çeviriye göre daha iyi sonuçlar elde edildiğini ortaya koymaktadır. Analiz, çeşitli dil aileleri ve bölgelerden sekiz Afrika dilini kapsamaktadır. Yazarlar, ticari LLM’lerde Afrika dillerinin daha fazla temsil edilmesi çağrısı yapmakta ve artan kullanım oranlarına dikkat çekmektedir. Bu çalışma, mevcut eksiklikleri ve daha kapsayıcı dil modeli geliştirilmesi gerekliliğini vurgulamaktadır. Makaleyi oku

Chang ve arkadaşlarının (2024) “Goldfish: 350 Dil İçin Tek Dilli Dil Modelleri” başlıklı makalesi, düşük kaynaklı dillerde tek dilli ve çok dilli modellerin performansını incelemektedir. Araştırma, büyük çok dilli modellerin birçok dilde çoğunlukla basit bigram modellerinden bile kötü performans gösterdiğini (FLORES perplexity ile ölçülmüştür) ortaya koymaktadır. Goldfish, 350 dil için eğitilmiş tek dilli modeller sunarak düşük kaynaklı dillerde performansı önemli ölçüde artırır. Yazarlar, daha az temsil edilen diller için daha hedefli model geliştirilmesini savunmaktadır. Bu çalışma, mevcut çok dilli LLM’lerin sınırlamaları ve tek dilli alternatiflerin potansiyeline dair değerli içgörüler sunmaktadır. Makaleyi oku