具备实时网页与知识搜索功能的AI聊天机器人
一款强大的AI聊天机器人，可通过检索和整合来自Google、Reddit、Wikipedia、Arxiv、Stack Exchange、YouTube、PubMed及网站URL的信息，实时解答用户问题，并提供有来源支持的答案，适用于科研、学习或一般查询。...
1 min read
URL检索器 是一个多功能流程组件，可从指定URL抓取并处理网页内容，并以结构化文档的形式返回信息。它充当外部在线内容与您的AI工作流之间的桥梁，使您能够高效集成、分析或处理基于网页的信息。
它能做什么？
该组件可检索输入的一或多个URL的内容。它能提取主要文本、元数据，甚至能利用光学字符识别（OCR）处理图片内容。检索到的数据会以多种结构化格式提供，适用于诸如摘要、问答或知识提取等下游AI任务。
输入选项
您可以通过以下两种方式为组件提供URL：
文本URL：
- 输入类型：
Message - 说明：要抓取内容的纯URL链接列表。
- 输入类型：
URL记录：
- 输入类型：
UrlRecord - 说明：结构化URL记录列表，可包含附加元数据。
- 输入类型：
高级输入参数
| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| 启用OCR | Boolean | false | 启用后，将对文档中的图片应用OCR以提取文本。 |
| 缓存时长 | Dropdown | 2周 | 内容缓存时间，可选无缓存至1年。 |
| 从H1标签提取 | Boolean | true | 如有H1标签，则从H1标签开始提取，聚焦主要内容。 |
| 按需加载内容 | Boolean | true | 根据您的查询，从最相关部分开始加载内容。 |
| 隐藏资源 | Boolean | false | 隐藏检索到的资源，不输出或显示。 |
| 最多输出Token数 | Integer | 3000 | 设置输出文本的最大token数量。 |
| 跳过最后一级标题 | Boolean | true | 提取时跳过最后一级标题，使内容更简洁。 |
| 内容合并策略 | Dropdown | 每个文档等量包含 | 决定内容合并方式：全部拼接或每个文档等量包含。 |
| 导出内容元素 | Multi-select | 全部 | 选择要导出的HTML元素（H1-H6，段落等）。 |
| 包含元数据 | Multi-select | 产品 | 指定要包含哪些元数据字段（如产品、作者、网站等）。 |
| 详细输出 | Boolean | false | 启用后输出详细信息，便于调试或分析。 |
| 工具名称 | String | （空） | 可选，为工具分配自定义名称供代理引用。 |
| 工具描述 | Multiline | （空） | 提供描述，帮助代理理解本工具用途。 |
输出
URL检索器提供多种输出格式，便于灵活集成到不同AI流程中：
| 输出名称 | 类型 | 说明 |
|---|---|---|
| 文档 | Message | URL中的处理内容，适用于消息型工作流。 |
| 原始文档 | Document | 原始未处理的文档对象，适合后续高级处理。 |
| 工具化文档 | Tool | 将内容封装为工具，支持代理型工作流利用文档。 |
为什么要用URL检索器？
- 集成外部知识： 轻松将网页信息引入AI应用，如聊天机器人、搜索引擎或知识库。
- 可定制提取： 精细控制要提取的内容和元数据，限定数据量，对图片可用OCR。
- 高效性能： 通过缓存避免重复下载，限制输出token提升性能。
- 灵活输出格式： 可选择最适合下游流程的输出格式——结构化文档、消息或工具。
应用示例
- 构建基于最新网页内容回答问题的知识型对话代理。
- 聚合电商网站产品数据，用于对比或分析。
- 按特定主题或关键词监控、分析博客或新闻文章。
- 从包含图文混合的网页中提取信息。
总结表
| 功能 | 说明 |
|---|---|
| URL抓取 | 从输入URL检索并处理网页内容。 |
| 支持OCR | 如启用可从文档图片中提取文本。 |
| 元数据提取 | 可选提取作者、产品或schema.org等元数据信息。 |
| 可定制输出 | 选择导出哪些HTML元素或元数据。 |
| 缓存 | 可配置缓存时长以提升效率。 |
| 多种输出类型 | 支持消息、原始文档及工具输出，以适应不同工作流需求。 |
URL检索器 是连接网页内容与AI工作流的强大灵活桥梁，让内容提取与集成更加细致可控。
