llms.txt

Was ist llms.txt?

Die Datei llms.txt ist eine standardisierte Textdatei im Markdown-Format, die darauf ausgelegt ist, den Zugriff, das Verständnis und die Verarbeitung von Informationen durch große Sprachmodelle (LLMs) auf Websites zu verbessern. Sie wird im Stammverzeichnis einer Website gehostet (z. B. /llms.txt) und dient als kuratierter Index, der strukturierte und zusammengefasste Inhalte speziell für den maschinellen Konsum während der Inferenz bereitstellt. Ihr Hauptziel ist es, die Komplexität herkömmlicher HTML-Inhalte – wie Navigationsmenüs, Werbung und JavaScript – zu umgehen, indem sie klare, sowohl für Menschen als auch Maschinen lesbare Daten präsentiert.

Anders als andere Webstandards wie robots.txt oder sitemap.xml ist llms.txt explizit für Reasoning-Engines wie ChatGPT, Claude oder Google Gemini konzipiert und nicht für Suchmaschinen. Sie hilft KI-Systemen, nur die relevantesten und wertvollsten Informationen innerhalb der oft zu kleinen Kontextfenster abzurufen, die nicht den gesamten Website-Inhalt aufnehmen können.

Ursprung von llms.txt

Das Konzept wurde im September 2024 von Jeremy Howard, Mitbegründer von Answer.AI, vorgeschlagen. Es entstand als Lösung für die Ineffizienzen, mit denen LLMs beim Interagieren mit komplexen Websites konfrontiert sind. Traditionelle Methoden zur Verarbeitung von HTML-Seiten führen oft zu verschwendeten Rechenressourcen und Fehlinterpretationen von Inhalten. Durch die Schaffung eines Standards wie llms.txt können Website-Betreiber sicherstellen, dass ihre Inhalte von KI-Systemen genau und effektiv geparst werden.

Wie wird llms.txt verwendet?

Die Datei llms.txt erfüllt mehrere praktische Zwecke, insbesondere im Bereich künstlicher Intelligenz und LLM-gesteuerter Interaktionen. Ihr strukturiertes Format ermöglicht es LLMs, Website-Inhalte effizient abzurufen und zu verarbeiten und so die Einschränkungen durch Kontextfenstergröße und Verarbeitungseffizienz zu überwinden.

Aufbau einer llms.txt-Datei

Die Datei llms.txt folgt einem speziellen Markdown-basierten Schema, um die Kompatibilität mit Menschen und Maschinen zu gewährleisten. Der Aufbau umfasst:

1. H1-Überschrift: Titel der Website oder des Projekts.
2. Blockquote-Zusammenfassung: Eine kurze Beschreibung oder Zusammenfassung des Zwecks und der wichtigsten Merkmale der Website.
3. Ausführliche Abschnitte: Freiform-Abschnitte (z. B. Absätze oder Listen) für zusätzlichen Kontext oder kritische Details.
4. H2-abgetrennte Ressourcenlisten: Kategorisierte Links zu wichtigen Ressourcen wie Dokumentationen, APIs oder externen Referenzen. Jeder Link kann eine kurze Beschreibung des Inhalts enthalten.
5. Optionaler Abschnitt (## Optional): Reserviert für sekundäre Ressourcen, die ausgelassen werden können, um Platz im Kontextfenster des LLM zu sparen.

Beispiel:

# Beispiel-Website  
> Eine Plattform zum Teilen von Wissen und Ressourcen rund um künstliche Intelligenz.  

## Dokumentation  
- [Schnellstart-Anleitung](https://example.com/docs/quickstart.md): Ein einsteigerfreundlicher Leitfaden für den Einstieg.  
- [API-Referenz](https://example.com/docs/api.md): Ausführliche API-Dokumentation.  

## Richtlinien  
- [Nutzungsbedingungen](https://example.com/terms.md): Rechtliche Hinweise zur Nutzung der Plattform.  
- [Datenschutzrichtlinie](https://example.com/privacy.md): Informationen zum Umgang mit Daten und Datenschutz.  

## Optional  
- [Unternehmensgeschichte](https://example.com/history.md): Zeitstrahl mit wichtigen Meilensteinen und Erfolgen.

Wichtige Merkmale

• KI-lesbare Navigation: Bietet eine vereinfachte Ansicht der Website-Struktur, sodass LLMs relevante Inhalte leichter identifizieren können.
• Markdown-Format: Stellt die Lesbarkeit für Menschen sicher und ermöglicht gleichzeitig das programmatische Parsen mit Tools wie Parsern oder Regex.
• Kontextoptimierung: Hilft LLMs, hochwertige Inhalte zu priorisieren, indem unnötige Elemente wie Werbung oder JavaScript ausgeschlossen werden.

Anwendungsfälle

1. Technische Dokumentation: Entwickler können API-Referenzen, Schnellstartanleitungen und andere technische Ressourcen verlinken, um Coding-Assistenten wie GitHub Copilot oder Codeium zu unterstützen.
2. E-Commerce: Online-Händler können mit llms.txt KI-Systeme auf Produkttaxonomien, Rückgaberichtlinien und Größentabellen lenken.
3. Bildung: Hochschulen können Kurspläne, Zeitpläne und Einschreibeinformationen für KI-gesteuerte Studienassistenten hervorheben.
4. Unternehmens-FAQs: Unternehmen können den Kundenservice optimieren, indem sie FAQs, Anleitungen zur Fehlerbehebung und Richtliniendokumente verlinken.

Beispiele für llms.txt im Einsatz

1. FastHTML

FastHTML, eine Python-Bibliothek zum Erstellen serverseitig gerenderter Webanwendungen, verwendet llms.txt, um den Zugriff auf die Dokumentation zu vereinfachen. Ihre Datei enthält Links zu Schnellstartanleitungen, HTMX-Referenzen und Beispielanwendungen, sodass Entwickler gezielt Ressourcen abrufen können.

Beispielauszug:

# FastHTML  
> Eine Python-Bibliothek zum Erstellen serverseitig gerenderter Hypermedia-Anwendungen.  

## Dokumentation  
- [Schnellstart](https://fastht.ml/docs/quickstart.md): Überblick über die wichtigsten Funktionen.  
- [HTMX-Referenz](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): Alle HTMX-Attribute und Methoden.  

2. Nike (hypothetisches Beispiel)

Ein E-Commerce-Riese wie Nike könnte eine llms.txt-Datei nutzen, um KI-Systemen Informationen über Produktlinien, Nachhaltigkeitsinitiativen und Kundenservice-Richtlinien bereitzustellen.

Beispielauszug:

# Nike  
> Weltweiter Marktführer für Sportschuhe und -bekleidung mit Fokus auf Nachhaltigkeit und Innovation.  

## Produktlinien  
- [Laufschuhe](https://nike.com/products/running.md): Details zu React-Schaum und Vaporweave-Technologien.  
- [Nachhaltigkeitsinitiativen](https://nike.com/sustainability.md): Ziele für 2025 und umweltfreundliche Materialien.  

## Kundenservice  
- [Rückgaberichtlinie](https://nike.com/returns.md): 60-tägiges Rückgaberecht und Ausnahmen.  
- [Größentabellen](https://nike.com/sizing.md): Tabellen für Schuh- und Bekleidungsgrößen.

llms.txt vs. Robots.txt vs. Sitemap.xml

Vergleich

Obwohl alle drei Standards dazu dienen, automatisierten Systemen zu helfen, unterscheiden sie sich deutlich in Zweck und Zielgruppe.

• llms.txt:

  • Zielgruppe: Große Sprachmodelle (z. B. ChatGPT, Claude, Google Gemini).
  • Zweck: Bietet kuratierte, kontextoptimierte Inhalte für Inferenz.
  • Format: Markdown.
  • Anwendung: KI-gesteuerte Interaktionen und Reasoning-Engines.

• robots.txt:

  • Zielgruppe: Suchmaschinen-Crawler.
  • Zweck: Steuert das Crawling- und Indexierungsverhalten.
  • Format: Klartext.
  • Anwendung: SEO und Zugriffssteuerung.

• sitemap.xml:

  • Zielgruppe: Suchmaschinen.
  • Zweck: Listet alle indexierbaren Seiten einer Website auf.
  • Format: XML.
  • Anwendung: SEO und Inhaltsentdeckung.

Zentrale Vorteile von llms.txt

1. KI-spezifische Optimierung: Im Gegensatz zu robots.txt und sitemap.xml ist llms.txt für Reasoning-Engines und nicht für klassische Suchmaschinen gedacht.
2. Rauschreduzierung: Konzentriert sich ausschließlich auf hochwertige, maschinenlesbare Inhalte und lässt unnötige Elemente wie Werbung oder Menüs weg.
3. Integration mit Markdown: Entspricht dem LLM-freundlichen Format für einfacheres Parsen und Verarbeiten.

Integration und Tools

Erstellung einer llms.txt-Datei

• Manuelle Erstellung: Schreiben Sie die Datei im Markdown-Format mit einem Texteditor.
• Automatisierte Tools:
  • Mintlify: Generiert automatisch llms.txt und llms-full.txt für gehostete Dokumentationen.
  • Firecrawl Generator: Durchsucht Ihre Website und erstellt llms.txt.

Hosting und Validierung

• Legen Sie die Datei im Stammverzeichnis Ihrer Website ab (z. B. https://example.com/llms.txt).
• Validieren Sie die Datei mit Tools wie llms_txt2ctx, um die Einhaltung des Standards sicherzustellen.

Integration mit KI-Systemen

• Direktes Hochladen: Einige KI-Tools ermöglichen das direkte Hochladen von llms.txt oder llms-full.txt (z. B. Claude oder ChatGPT).
• Frameworks: Nutzen Sie Tools wie LangChain oder LlamaIndex, um die Datei in Retrieval-Augmented Generation-Workflows einzubinden.

Herausforderungen und Überlegungen

1. Akzeptanz durch große LLM-Anbieter: Obwohl llms.txt bei Entwicklern und kleinen Plattformen an Popularität gewinnt, wird es von großen LLM-Anbietern wie OpenAI oder Google bislang nicht offiziell unterstützt.
2. Pflege: Die Datei muss regelmäßig aktualisiert werden, um Änderungen an Inhalten oder der Website-Struktur abzubilden.
3. Kontextfenster-Limitierungen: Bei sehr umfangreicher Dokumentation kann die Datei llms-full.txt die Kontextfenstergröße einiger LLMs überschreiten.

Trotz dieser Herausforderungen stellt llms.txt einen zukunftsorientierten Ansatz zur Optimierung von Inhalten für KI-gesteuerte Systeme dar. Durch die Einführung dieses Standards können Organisationen sicherstellen, dass ihre Inhalte im KI-Zeitalter zugänglich, präzise und priorisiert sind.

Forschung: Große Sprachmodelle (LLMs)

Große Sprachmodelle (LLMs) sind zu einer dominierenden Technologie für die Verarbeitung natürlicher Sprache geworden und treiben Anwendungen wie Chatbots, Inhaltsmoderation und Suchmaschinen an. In „Lost in Translation: Large Language Models in Non-English Content Analysis“ von Nicholas und Bhatia (2023) liefern die Autoren eine klare technische Erklärung, wie LLMs funktionieren, heben die Datenlücke zwischen Englisch und anderen Sprachen hervor und diskutieren Bemühungen, diese Lücke durch mehrsprachige Modelle zu überbrücken. Das Papier beschreibt die Herausforderungen der Inhaltsanalyse mit LLMs, insbesondere in mehrsprachigen Kontexten, und gibt Empfehlungen für Forschende, Unternehmen und politische Entscheidungsträger zur Einführung und Entwicklung von LLMs. Die Autoren betonen, dass trotz Fortschritten weiterhin erhebliche Einschränkungen für nicht-englische Sprachen bestehen. Zum Paper

Das Paper „Cedille: A large autoregressive French language model“ von Müller und Laurent (2022) stellt Cedille vor, ein groß angelegtes, französischsprachiges Sprachmodell. Cedille ist Open Source und zeigt eine überlegene Leistung auf französischen Zero-Shot-Benchmarks im Vergleich zu bestehenden Modellen und kommt in einigen Aufgaben sogar an GPT-3 heran. Die Studie bewertet auch die Sicherheit von Cedille und zeigt Verbesserungen hinsichtlich der Reduktion von toxischen Inhalten durch gezielte Datenfilterung. Diese Arbeit unterstreicht die Bedeutung und Wirkung der Entwicklung von LLMs, die auf bestimmte Sprachen optimiert sind. Das Paper hebt hervor, wie wichtig sprachspezifische Ressourcen im LLM-Umfeld sind. Zum Paper

In „How Good are Commercial Large Language Models on African Languages?“ von Ojo und Ogueji (2023) bewerten die Autoren die Leistung kommerzieller LLMs auf afrikanischen Sprachen sowohl für Übersetzungs- als auch Klassifizierungsaufgaben. Die Ergebnisse zeigen, dass diese Modelle auf afrikanischen Sprachen im Allgemeinen schlechter abschneiden, bei Klassifizierung jedoch bessere Resultate erzielen als bei Übersetzungen. Die Analyse umfasst acht afrikanische Sprachen aus verschiedenen Sprachfamilien und Regionen. Die Autoren fordern eine stärkere Berücksichtigung afrikanischer Sprachen in kommerziellen LLMs, da diese zunehmend genutzt werden. Diese Studie zeigt bestehende Lücken auf und den Bedarf an einer inklusiveren Entwicklung von Sprachmodellen. Zum Paper

„Goldfish: Monolingual Language Models for 350 Languages“ von Chang et al. (2024) untersucht die Leistung monolingualer im Vergleich zu mehrsprachigen Modellen für ressourcenarme Sprachen. Die Forschung zeigt, dass große mehrsprachige Modelle für viele Sprachen schlechter abschneiden als einfache Bigramm-Modelle, gemessen an der FLORES-Perplexität. Goldfish stellt monolinguale Modelle für 350 Sprachen vor, die die Leistung bei ressourcenarmen Sprachen erheblich verbessern. Die Autoren plädieren für eine gezieltere Modellentwicklung für weniger repräsentierte Sprachen. Diese Arbeit liefert wertvolle Einblicke in die Grenzen aktueller mehrsprachiger LLMs und das Potenzial monolingualer Alternativen. Zum Paper