ナレッジソース
ウェブサイトのクローリング
スケジュールに従ってウェブサイト、サイトマップ、またはURLのリストをクロールし、エージェントがあなたのページから回答できるようにします。
スケジュールは、FlowHunt がどのページをクロールするか、そしてどのくらいの頻度で再度クロールするかを指定します。クロールされたページはインデックス化されるため、レトリーバーがそれらを検索できます。管理するには Knowledge sources → Schedules を開きます。
スケジュールを作成する#
スケジュールを追加する
Add new Schedule をクリックします。クレジットに関する注意書きのあるダイアログが開きます。
タイプを選択する
Type で、クロールする対象を選択します（下の表を参照）。スケジュールを作成した後は、タイプを変更できません。
頻度を選択する
Frequency で、Daily、Weekly、Monthly、Quarterly、Yearly のいずれかを選択します。新しいスケジュールの既定値は Daily です。
アドレスを入力する
Domain or URL を入力します。サイトマップのクロールでは、フィールドは Sitemap URL です。URLリストの場合は、1行に1つのURLを貼り付けるか、ファイルから読み込みます。
保存する
Add new Schedule をクリックします。最初のクロールはすぐに開始され、以降のクロールは指定した頻度で実行されます。
スケジュールのタイプ#
| タイプ | クロールする対象 |
|---|---|
| Domain crawl | ドメイン全体。 |
| Single URL crawl | 1つのページ。 |
| Sitemap crawl | サイトマップに記載されたURL。 |
| URL List crawl | 指定したリスト。最大10,000件のURL。 |
| Youtube Channel | YouTube チャンネル。 |
| XML Product Feed | XML 形式の商品フィード。 |
| Zendesk KB Sync、Product Fruits KB Sync、ClickUp KB Sync | 接続済みアカウントのヘルプセンターまたはドキュメントのコンテンツ。 |
ナレッジベースの同期には、対応する連携と Pro プラン以上が必要です。トライアルのワークスペースでは、Single URL、Sitemap、URL List のスケジュールしか作成できません。その他のタイプはグレー表示になるか、拒否されます。
インデックス化される対象を制御する#
スケジュールの詳細設定を開いて、クロールの範囲を絞り込みます。
- Index just matching URLs: 1行に1つの文字列。URL は、それらのいずれかを含む場合にのみクロールされます。
- Skip matching URLs: 1行に1つの文字列。それらのいずれかを含む URL はクロールされません。
- Follow links (Process also URLs found in page): 各ページで見つかったリンクもクロールします。これをオンにする場合は Index just matching URLs を入力する必要があり、そうでなければ保存に失敗します。チェックされたすべての URL は、一致しないものも含めてクレジットを消費します。
- With Browser (extra credits): 実際のブラウザを使用します。より低速で、コストも高くなります。コンテンツを完全に JavaScript で読み込むサイトにのみ使用してください。
- Take screenshot (extra credits): スクリーンショットを保存します。ページに og:image がない場合に便利です。
- With Proxy Rotation (extra credits): リクエストごとに IP アドレスを変更します。ファイアウォールがクローラーをブロックするサイト向けです。
- Custom Headers: 1行に1つの
NAME=valueを指定し、すべてのリクエストとともに送信されます。これらのヘッダーをファイアウォールで許可できます。
スケジュール一覧を読む#
各行には、ドメイン、頻度、最終更新、ステータス、そして URLs Scheduled と Failed URLs の件数が表示されます。スケジュールを開くと、その URL を確認できます。そこから URL の詳細を開いたり、Delete URL で削除したりできます。確認画面で Skip this URL in future schedule runs にチェックを入れると、その URL が再度クロールされないようにできます。
行のボタンでは、Run Schedule、Cancel running schedule、Show Error logs を実行できます。複数の行を選択し、Run Selected でまとめて実行できます。
クレジット#
クレジットはコンテンツがクロールされるときに消費されます。スケジュールされたクロールで変更が見つからなかった場合、クレジットは半分だけ消費されます。
1つのサイトだけを検索する
Document Retriever ステップで、Schedules から1つ以上のスケジュールを選択します。するとレトリーバーは、それらのスケジュールのコンテンツだけを検索します。何も選択しない場合は、ワークスペース内のすべてを検索します。
次のステップ#
気になる質問に対する正確な回答を質問と回答で追加するか、ナレッジベースの同期が停止した場合は連携が切断されましたをお読みください。