技術ドキュメントをSEO記事に変換
URLから技術ドキュメントを取得し、ウェブサイト向けの魅力的でSEO最適化された記事に変換します。このフローは、上位競合コンテンツを分析し、コンバージョンに特化した構造化アウトラインを生成し、技術的な詳細で記事を充実させ、キーワードおよび内部リンクも最適化します。...
1 分で読める
URLリトリーバーは、指定されたURLからウェブコンテンツを取得・処理し、情報を構造化ドキュメントとして返す多機能なフローコンポーネントです。外部オンラインコンテンツとAIワークフローの橋渡しとなり、ウェブ情報の統合・分析・処理を効率的に行えます。
機能概要
このコンポーネントは、入力として指定された1つまたは複数のURLのコンテンツを取得します。本文やメタデータの抽出、さらに画像からのOCRによるコンテンツ処理も可能です。取得したデータは、要約や質問応答、知識抽出など下流AIタスクに適したさまざまな構造化形式で利用できます。
入力オプション
URLの入力方法は2種類あります：
テキストURL:
- 入力タイプ:
Message - 説明: コンポーネントがコンテンツを取得するためのプレーンなURLリンクのリスト。
- 入力タイプ:
URLレコード:
- 入力タイプ:
UrlRecord - 説明: メタデータを含む構造化されたURLレコードのリスト。
- 入力タイプ:
高度な入力パラメータ
| パラメータ | 型 | デフォルト | 説明 |
|---|---|---|---|
| OCRを適用 | Boolean | false | 有効にすると、ドキュメント内の画像からテキストを抽出するためにOCRを適用します。 |
| キャッシュTTL | ドロップダウン | 2週間 | コンテンツのキャッシュ期間（キャッシュなしから1年まで選択可能）。 |
| H1から抽出（存在時） | Boolean | true | H1タグがあればそこから抽出を開始し、主要コンテンツに集中します。 |
| ポインタから読み込み | Boolean | true | クエリに基づき最も関連性の高いセクションからコンテンツを読み込みます。 |
| リソースを非表示 | Boolean | false | 取得したリソースを出力や表示から除外します。 |
| 最大トークン数 | Integer | 3000 | 出力テキストの最大トークン数を設定します。 |
| 最後のヘッダーをスキップ | Boolean | true | 抽出時に最後のヘッダーをスキップし、コンテンツを整理します。 |
| 結合方法 | ドロップダウン | 各ドキュメントから同じ量を含める | コンテンツの結合方法を指定（全結合または各ドキュメントから均等に抽出）。 |
| コンテンツをエクスポート | マルチセレクト | すべて | エクスポートするHTML要素を選択（H1-H6, 段落など）。 |
| メタデータの含有 | マルチセレクト | 商品 | 含めるメタデータフィールドを指定（例：商品、著者、ウェブサイト等）。 |
| 詳細出力 | Boolean | false | デバッグや情報目的で詳細出力を有効化。 |
| ツール名 | 文字列 | （空） | エージェント参照用にカスタム名を任意で指定可能。 |
| ツール説明 | 複数行 | （空） | エージェントがツールの目的を理解するための説明を記載。 |
出力
URLリトリーバーは、さまざまな形式で出力を提供し、AIプロセスへの柔軟な統合を可能にします：
| 出力名 | 型 | 説明 |
|---|---|---|
| ドキュメント | Message | URLから取得・処理されたコンテンツ。メッセージ指向ワークフロー向け。 |
| 生ドキュメント | Document | 未加工のドキュメントオブジェクトで、下流処理に最適。 |
| ツールとしてのドキュメント | Tool | コンテンツをツール形式で出力し、エージェントワークフローで利用可能。 |
URLリトリーバーを使う理由
- 外部知識の統合：ウェブ情報をチャットボットや検索エンジン、ナレッジベースなどAIアプリケーションにシームレスに取り込めます。
- 抽出内容のカスタマイズ：必要なコンテンツやメタデータを細かく調整し、画像にはOCRも利用可能。
- パフォーマンスと効率：キャッシュ利用で無駄なダウンロードを防ぎ、トークン出力も制限可能。
- 柔軟な出力形式：次のワークフローステップに最適な形式（構造化ドキュメント、メッセージ、ツール）を選択可能。
利用例
- 最新のウェブコンテンツを活用して質問に答える知識連動型の会話エージェントの構築。
- ECサイトから商品データを集約し、比較や分析を実施。
- 特定トピックやキーワードに基づき、ブログやニュース記事の監視・分析。
- テキストと画像が混在するウェブページからの情報抽出。
機能まとめ表
| 機能 | 説明 |
|---|---|
| URL取得 | 指定されたURLからウェブコンテンツを取得・処理。 |
| OCR対応 | 有効時、ドキュメント内画像からテキストを抽出。 |
| メタデータ抽出 | 著者や商品、schema.orgタイプなどのメタデータもオプションで含められます。 |
| 出力カスタマイズ | エクスポートするHTML要素やメタデータを選択可能。 |
| キャッシュ | 効率化のためキャッシュ期間を設定可能。 |
| 多彩な出力形式 | ワークフローに合わせてメッセージ・生ドキュメント・ツールで出力可能。 |
URLリトリーバーは、ウェブコンテンツとAIワークフローをつなぐ強力かつ柔軟なコンポーネントであり、細やかな抽出・統合制御を実現します。
