URL检索器

URL检索器 是一个多功能流程组件，可从指定URL抓取并处理网页内容，并以结构化文档的形式返回信息。它充当外部在线内容与您的AI工作流之间的桥梁，使您能够高效集成、分析或处理基于网页的信息。

它能做什么？

该组件可检索输入的一或多个URL的内容。它能提取主要文本、元数据，甚至能利用光学字符识别（OCR）处理图片内容。检索到的数据会以多种结构化格式提供，适用于诸如摘要、问答或知识提取等下游AI任务。

输入选项

您可以通过以下两种方式为组件提供URL：

• 文本URL：

  • 输入类型：Message
  • 说明：要抓取内容的纯URL链接列表。

• URL记录：

  • 输入类型：UrlRecord
  • 说明：结构化URL记录列表，可包含附加元数据。

高级输入参数

输出

URL检索器提供多种输出格式，便于灵活集成到不同AI流程中：

为什么要用URL检索器？

• 集成外部知识： 轻松将网页信息引入AI应用，如聊天机器人、搜索引擎或知识库。
• 可定制提取： 精细控制要提取的内容和元数据，限定数据量，对图片可用OCR。
• 高效性能： 通过缓存避免重复下载，限制输出token提升性能。
• 灵活输出格式： 可选择最适合下游流程的输出格式——结构化文档、消息或工具。

应用示例

• 构建基于最新网页内容回答问题的知识型对话代理。
• 聚合电商网站产品数据，用于对比或分析。
• 按特定主题或关键词监控、分析博客或新闻文章。
• 从包含图文混合的网页中提取信息。

总结表

URL检索器 是连接网页内容与AI工作流的强大灵活桥梁，让内容提取与集成更加细致可控。