llms.txt

llms.txtとは？

llms.txtファイルは、ウェブサイトから大規模言語モデル（LLM）が情報をアクセス・理解・処理する方法を向上させるために設計された、標準化テキストファイル（Markdown形式）です。ウェブサイトのルートパス（例：/llms.txt）に設置されるこのファイルは、推論時に機械が消費しやすいように構造化・要約されたコンテンツのキュレーションインデックスとして機能します。主な目的は、ナビゲーションメニューや広告、JavaScriptなどの従来のHTMLコンテンツの複雑さを回避し、人間と機械の両方が読みやすい明確なデータを提示することです。

robots.txtやsitemap.xmlなどの他のウェブ標準とは異なり、llms.txtはChatGPT、Claude、Google Geminiのような推論エンジン専用に設計されています。これは、AIシステムがコンテキストウィンドウ内で最も関連性が高く価値のある情報のみを取得できるように支援します。多くのLLMはウェブサイト全体のコンテンツを処理するにはコンテキストウィンドウが小さすぎるため、llms.txtが有効です。

llms.txtの起源

このコンセプトは、Answer.AI共同創設者のJeremy Howardによって2024年9月に提案されました。複雑なウェブサイトとLLMの間で発生する非効率を解決するために生まれたものです。従来のHTMLページ処理は、計算リソースの無駄やコンテンツの誤解釈を招きがちでした。llms.txtのような標準を用いることで、ウェブサイト管理者はAIシステムによる正確かつ効率的なパースを保証できます。

llms.txtの使い方

llms.txtファイルは、主にAIやLLM駆動の対話領域で実用的な役割を果たします。その構造化フォーマットにより、LLMがウェブサイトのコンテンツを効率的に取得・処理でき、コンテキストウィンドウのサイズや処理効率の限界を克服できます。

llms.txtファイルの構造

llms.txtは、人間と機械の両方に互換性のあるMarkdownベースのスキーマに従います。主な構成は以下の通りです。

1. H1ヘッダー: ウェブサイトやプロジェクトのタイトル。
2. 引用による要約: サイトの目的や主な特徴を簡潔に記述。
3. 詳細セクション: 追加の文脈や重要な詳細情報を記載する自由形式のセクション（段落やリストなど）。
4. H2区切りのリソースリスト: ドキュメントやAPI、外部参照などの重要リソースへのカテゴリ別リンク。各リンクには簡単な説明を付与可能。
5. 省略可能なセクション（## Optional）: LLMのコンテキストウィンドウを節約したい場合の二次的リソース用。

例:

# Example Website  
> 人工知能に関する知識やリソースを共有するプラットフォーム。  

## Documentation  
- [クイックスタートガイド](https://example.com/docs/quickstart.md): 初心者向けの導入ガイド。  
- [APIリファレンス](https://example.com/docs/api.md): 詳細なAPIドキュメント。  

## Policies  
- [利用規約](https://example.com/terms.md): プラットフォーム利用の法的ガイドライン。  
- [プライバシーポリシー](https://example.com/privacy.md): データ取扱とユーザープライバシーについて。  

## Optional  
- [会社沿革](https://example.com/history.md): 主なマイルストーンと実績のタイムライン。

主な特徴

• AI可読ナビゲーション: ウェブサイトの構造を簡素化し、LLMが関連コンテンツを特定しやすくします。
• Markdown形式: 人間にも読みやすく、パーサーや正規表現での機械的解析も容易。
• コンテキスト最適化: 広告やJavaScriptなど不要な要素を排除し、LLMが高価値コンテンツを優先できます。

利用シーン

1. 技術文書: 開発者がAPIリファレンスやクイックスタートガイドなどをリンクし、GitHub CopilotやCodeiumのようなコーディングアシスタントを支援。
2. ECサイト: オンライン小売業者は、商品分類や返品規定、サイズガイドなどをAIに案内。
3. 教育機関: 大学は講義シラバスやスケジュール、履修規則など、AI駆動の学習アシスタント向けに強調。
4. 企業FAQ: 企業はFAQやトラブルシューティングガイド、ポリシー文書などをリンクし、カスタマーサポートを効率化。

llms.txtの実例

1. FastHTML

FastHTMLは、サーバーレンダリング型ウェブアプリケーションを構築するPythonライブラリで、llms.txtを利用してドキュメントへのアクセスを簡素化しています。ファイルにはクイックスタートガイドやHTMXリファレンス、サンプルアプリなどへのリンクが含まれ、開発者が必要なリソースを迅速に取得できます。

例スニペット:

# FastHTML  
> サーバーレンダリング型ハイパーメディアアプリケーションを作成するPythonライブラリ。  

## Docs  
- [クイックスタート](https://fastht.ml/docs/quickstart.md): 主要機能の概要。  
- [HTMXリファレンス](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): HTMXの属性とメソッド一覧。  

2. Nike（仮想例）

Nikeのような大手EC企業は、llms.txtファイルを使い、AIに商品ラインやサステナビリティ施策、カスタマーサポートポリシーなどの情報を提供できます。

例スニペット:

# Nike  
> サステナビリティとイノベーションを重視する、世界的なアスレチックフットウェア・アパレルブランド。  

## Product Lines  
- [ランニングシューズ](https://nike.com/products/running.md): ReactフォームやVaporweave技術の詳細。  
- [サステナビリティ施策](https://nike.com/sustainability.md): 2025年目標やエコ素材の取り組み。  

## Customer Support  
- [返品ポリシー](https://nike.com/returns.md): 60日間返品や例外事項について。  
- [サイズガイド](https://nike.com/sizing.md): シューズ・アパレルサイズ表。

llms.txtとrobots.txt、sitemap.xmlの違い

比較

三つの標準はいずれも自動化システム支援のために設計されていますが、その目的や対象は大きく異なります。

• llms.txt:

  • 対象: 大規模言語モデル（ChatGPT、Claude、Google Geminiなど）。
  • 目的: 推論用にキュレーション・コンテキスト最適化されたコンテンツを提供。
  • 形式: Markdown。
  • 用途: AI駆動対話・推論エンジン。

• robots.txt:

  • 対象: 検索エンジンクローラー。
  • 目的: クロール・インデックス行動の制御。
  • 形式: プレーンテキスト。
  • 用途: SEOやアクセス管理。

• sitemap.xml:

  • 対象: 検索エンジン。
  • 目的: サイト内のインデックス対象ページ一覧。
  • 形式: XML。
  • 用途: SEOやコンテンツ発見。

llms.txtの主な利点

1. AI特化最適化: robots.txtやsitemap.xmlとは異なり、llms.txtは推論エンジン専用に設計。
2. ノイズ低減: 広告やナビゲーションなど不要要素を排除し、高価値で機械可読なコンテンツのみに集中。
3. Markdown連携: LLMに優しいフォーマットで、解析や処理が容易。

導入とツール

llms.txtファイルの作成

• 手動作成: テキストエディタでMarkdown形式のファイルを作成。
• 自動生成ツール:
  • Mintlify: ホストドキュメント用のllms.txtやllms-full.txtを自動生成。
  • Firecrawl Generator: ウェブサイトをクロールし、llms.txtを作成。

ホスティングと検証

• ファイルをウェブサイトのルートディレクトリ（例: https://example.com/llms.txt）に設置。
• llms_txt2ctxなどのツールで標準準拠を検証。

AIシステムとの連携

• 直接アップロード: ClaudeやChatGPTのような一部AIツールでは、llms.txtやllms-full.txtを直接アップロード可能。
• フレームワーク: LangChainやLlamaIndexなどでRAG（検索拡張生成）ワークフローに統合。

課題と考慮点

1. 大手LLMプロバイダーの採用: llms.txtは開発者や中小プラットフォームで普及しつつありますが、OpenAIやGoogleなどの主要プロバイダーではまだ公式サポートされていません。
2. 保守性: コンテンツや構造の変更があれば、ファイルを定期的に更新する必要があります。
3. コンテキストウィンドウの制約: 大規模なドキュメントでは、llms-full.txtが一部LLMのコンテキストウィンドウを超える場合があります。

これらの課題がありながらも、llms.txtはAI時代のコンテンツ最適化に向けた先進的なアプローチです。この標準を採用することで、組織は自社コンテンツをAIにとってアクセスしやすく、正確かつ優先的に扱われるようにできます。

研究：大規模言語モデル（LLM）

大規模言語モデル（LLM）は、チャットボット、コンテンツモデレーション、検索エンジンなど多様な自然言語処理アプリケーションを支える中核技術となっています。NicholasとBhatia（2023）による「Lost in Translation: Large Language Models in Non-English Content Analysis」では、LLMの技術的な仕組みをわかりやすく説明し、英語とそれ以外の言語のデータ格差、多言語モデルによる格差解消の取り組みを詳述。特に多言語環境におけるLLMのコンテンツ分析の課題や、研究者・企業・政策決定者への提言をまとめています。進展は見られるものの、非英語言語では依然として制約が大きいと強調されています。論文を読む

MüllerとLaurent（2022）による「Cedille: A large autoregressive French language model」は、フランス語特化の大規模言語モデルCedilleを紹介。Cedilleはオープンソースで、フランス語のゼロショットベンチマークで従来モデルを上回る性能を示し、いくつかのタスクではGPT-3にも匹敵します。データセットのフィルタリングにより有害性も低減できたことを評価。言語特化型LLM開発の重要性を強調しています。論文を読む

OjoとOgueji（2023）による「How Good are Commercial Large Language Models on African Languages?」は、商用LLMがアフリカ諸語でどの程度機能するかを翻訳・分類タスクで評価。分類は翻訳より良い結果でしたが、全体的にアフリカ諸語では性能が低いことが示されました。多様な言語・地域の8言語を対象に分析し、商用LLMにおけるアフリカ諸語の代表性強化の必要性を訴えています。論文を読む

Changら（2024）による「Goldfish: Monolingual Language Models for 350 Languages」は、低リソース言語に対する単言語・多言語モデルの性能比較を実施。多言語LLMは多くの言語で単純なバイグラムモデルにも劣ることが示され、Goldfishは350言語向けの単言語モデルによって低リソース言語の性能を大きく向上させました。今後は対象言語ごとの最適モデル開発が重要だと提言しています。論文を読む