知识来源
网站爬取
按计划爬取网站、站点地图或 URL 列表，让智能体能够基于你的页面进行回答。
计划（Schedule）告诉 FlowHunt 要爬取哪些页面，以及多久重新爬取一次。爬取到的页面会被索引，因此检索器可以搜索它们。打开 知识源 → 计划 即可管理它们。
创建计划#
添加计划
点击 新建计划。会弹出一个对话框，其中有一条关于额度的说明。
选择类型
在 类型 下选择要爬取的内容（见下表）。计划一旦创建，就无法更改其类型。
选择频率
在 频率 下选择 每日、每周、每月、每季度 或 每年。新计划默认为 每日。
输入地址
输入 域名或 URL。对于站点地图爬取，该字段为 站点地图 URL。对于 URL 列表，每行粘贴一个 URL，或从文件加载它们。
保存
点击 新建计划。第一次爬取会立即开始，之后的爬取则按照设定的频率进行。
计划类型#
| 类型 | 爬取的内容 |
|---|---|
| 域名爬取 | 整个域名。 |
| 单个 URL 爬取 | 一个页面。 |
| 站点地图爬取 | 站点地图中列出的 URL。 |
| URL 列表爬取 | 你提供的列表，最多 10,000 个 URL。 |
| Youtube 频道 | 一个 YouTube 频道。 |
| XML 产品源 | 采用 XML 格式的产品源。 |
| Zendesk KB Sync、Product Fruits KB Sync、ClickUp KB Sync | 来自已连接账户的帮助中心或文档内容。 |
知识库同步需要相应的集成，以及 Pro 或更高版本的计划。试用工作区只能创建单个 URL、站点地图和 URL 列表计划；其他类型会显示为灰色或被拒绝。
控制哪些内容会被索引#
打开计划的高级设置以缩小爬取范围。
- 仅索引匹配的 URL：每行一个字符串。只有当 URL 包含其中之一时才会被爬取。
- 跳过匹配的 URL：每行一个字符串。包含其中之一的 URL 不会被爬取。
- 跟随链接（同时处理页面中发现的 URL）：还会爬取每个页面上发现的链接。启用此项时，你必须填写 仅索引匹配的 URL，否则保存会失败。检查的每个 URL 都会消耗你的额度，包括不匹配的 URL。
- 使用浏览器（额外额度）：使用真实浏览器。速度更慢，成本更高。仅用于完全通过 JavaScript 加载内容的网站。
- 截取屏幕截图（额外额度）：保存屏幕截图，当页面没有 og:image 时很有用。
- 使用代理轮换（额外额度）：每次请求都更换 IP 地址，适用于防火墙会阻止爬虫的网站。
- 自定义请求头：每行一个
NAME=value，随每个请求发送。你可以在防火墙中允许这些请求头。
查看计划列表#
每一行显示域名、频率、上次更新、状态，以及 已计划的 URL 数 和 失败的 URL 数。打开一个计划即可查看它的 URL。在那里你可以打开某个 URL 的详情，或用 删除 URL 将其移除。在确认对话框中，勾选 在未来的计划运行中跳过此 URL，即可让它不再被爬取。
行按钮可让你 运行计划、取消正在运行的计划 和 显示错误日志。选择多行并使用 运行所选 可一起运行它们。
额度#
爬取内容时会消耗额度。如果计划的爬取未发现任何更改，则消耗一半的额度。
只搜索一个站点
在文档检索器步骤中，在 计划 下选择一个或多个计划。这样检索器就只会搜索这些计划中的内容。如果未选择任何计划，它会搜索工作区中的所有内容。