URLリトリーバー

URLリトリーバーは、指定されたURLからウェブコンテンツを取得・処理し、情報を構造化ドキュメントとして返す多機能なフローコンポーネントです。外部オンラインコンテンツとAIワークフローの橋渡しとなり、ウェブ情報の統合・分析・処理を効率的に行えます。

機能概要

このコンポーネントは、入力として指定された1つまたは複数のURLのコンテンツを取得します。本文やメタデータの抽出、さらに画像からのOCRによるコンテンツ処理も可能です。取得したデータは、要約や質問応答、知識抽出など下流AIタスクに適したさまざまな構造化形式で利用できます。

入力オプション

URLの入力方法は2種類あります：

• テキストURL:

  • 入力タイプ: Message
  • 説明: コンポーネントがコンテンツを取得するためのプレーンなURLリンクのリスト。

• URLレコード:

  • 入力タイプ: UrlRecord
  • 説明: メタデータを含む構造化されたURLレコードのリスト。

高度な入力パラメータ

出力

URLリトリーバーは、さまざまな形式で出力を提供し、AIプロセスへの柔軟な統合を可能にします：

URLリトリーバーを使う理由

• 外部知識の統合：ウェブ情報をチャットボットや検索エンジン、ナレッジベースなどAIアプリケーションにシームレスに取り込めます。
• 抽出内容のカスタマイズ：必要なコンテンツやメタデータを細かく調整し、画像にはOCRも利用可能。
• パフォーマンスと効率：キャッシュ利用で無駄なダウンロードを防ぎ、トークン出力も制限可能。
• 柔軟な出力形式：次のワークフローステップに最適な形式（構造化ドキュメント、メッセージ、ツール）を選択可能。

利用例

• 最新のウェブコンテンツを活用して質問に答える知識連動型の会話エージェントの構築。
• ECサイトから商品データを集約し、比較や分析を実施。
• 特定トピックやキーワードに基づき、ブログやニュース記事の監視・分析。
• テキストと画像が混在するウェブページからの情報抽出。

機能まとめ表

URLリトリーバーは、ウェブコンテンツとAIワークフローをつなぐ強力かつ柔軟なコンポーネントであり、細やかな抽出・統合制御を実現します。