Sitemap 到 llms.txt AI 转换器

此工作流自动化地将网站的 sitemap.xml 转换为结构化且适合 AI 的 llms.txt 格式。该流程利用 AI 智能体和内容提取工具，简化了为大型语言模型（LLMs）和其他 AI 应用准备网站内容的流程。以下是步骤和组件的详细分解。

1. 用户体验与入口

• 聊天开启时欢迎信息
  当用户打开聊天窗口时，消息组件会显示友好的提示信息：

  🗂️ 请在下方粘贴您的 sitemap.xml URL！
  我会将其转换为干净的 llms.txt 格式，非常适合用于 AI 模型训练 🤖📄

  这为用户设定了明确预期，并引导其输入正确内容。

2. 用户输入处理

• 聊天输入节点
  用户将 sitemap.xml 文件的 URL 粘贴到聊天界面中。
• 触发流程
  输入的 URL 会自动传递到下一个处理步骤。

3. 提取和处理 Sitemap URL

• URL 提取器（主要）
  工作流使用 URL 内容提取节点来：

  • 从提供的 sitemap.xml URL 获取内容。
  • 应用提取策略（如从标题、段落中提取）。
  • 缓存结果以提高效率。
  • 通过 token 和标题策略限制内容（如从 H1 开始，跳过最后一个标题）。
  • 可选处理元数据（如产品数据）。

• 高级设置

  • 每个文档最多处理 300,000 个 token。
  • 可包含各种 HTML 元素（H1–H6、段落）内容。
  • 支持严格白名单、缓存（2 周）和加载策略。
  • 可集成 OCR 识别图片内容（默认关闭）。

4. 外部知识补充

• Google 搜索工具
  AI 智能体配备 Google 搜索工具，能够：

  • 搜索额外上下文或相关文档（如有需要）。
  • 限制结果数量（默认：3），可指定国家/语言。
  • 使用缓存结果提升效率。

• 二级 URL 提取器
  可配置额外提取节点，从 Google 搜索获得的 URL 中抓取内容，进一步丰富 AI 智能体的知识库（如有需要）。

5. AI 智能体内容转换

• AI 智能体节点
  工作流核心为 AI 智能体，配置如下：
  • 目标：
    按提供的示例将 sitemap.xml 内容转为结构良好的 llms.txt。
  • 背景与角色：
    智能体定位为生成 llms.txt 文件的专家。
  • 工具：
    同时利用 Google 搜索和 URL 提取工具获取网站及网页内容。
  • 操作流程：
    智能体会：
    • 读取所有已获取页面内容。
    • 识别标题和结构。
    • 决定最重要的页面优先列出。
    • 将次要页面（如分类、标签）放在末尾。
    • 严格遵循格式，确保输出符合 LLM 数据摄取的 llms.txt 要求。

6. 输出与用户反馈

• 聊天输出节点
  AI 智能体格式化后的输出（即 llms.txt 内容）会在聊天中展示给用户，可直接用于 AI 训练或数据摄取。

工作流结构（流程总览）

此工作流的优势是什么？

• 可扩展性：
  自动化繁琐的手工流程，让你无需技术背景即可将任意网站 sitemap 转为 LLM 可用格式。

• 高质量与一致性：
  确保输出严格符合格式要求，提高 AI 训练数据的质量。

• 可拓展性：
  可自定义集成更多知识源或应用更高级的提取逻辑。

• 高效性：
  集成缓存和 token 限制，即使是大型网站亦可快速可靠处理。

• AI 驱动的智能决策：
  智能体可智能排序重要页面并结构化输出，避免人工整理的繁琐和出错。

应用示例

• 将整个网站整理为单一结构化文档，便于 AI 数据摄取。
• 自动化知识库或文档系统的内容整理。
• 批量生成高质量数据集，用于 LLM 领域微调训练。

此工作流让你能够轻松、快速且可靠地将网站 sitemap 转换为 AI 优化的文本文件，节省大量人工操作时间，确保 AI 模型获得高质量、结构化的输入。