チャットボットの回答をデバッグする方法

冗長ログでチャットボットの履歴を確認する

FlowHuntでは、チャットボットとのやり取りの履歴を確認でき、各チャットセッションの詳細なログ情報を参照できます。たとえば、Document Retrieverなどの特定のコンポーネントがチャット中に使われた場合、冗長モードのログにはそれが明記され、どのドキュメントが見つかり、チャットボットの回答作成に活用されたかも確認できます。

冗長ログはどこで確認できますか？

1. FlowHuntのワークスペースで、左側メニューから「履歴」を開くか、こちらのリンクを使用します: https://app.flowhunt.io/aistudio/chatbot-history
2. 利用可能なフィルターを使います。最低でもセッションフィルターを使って、確認したい期間を絞るのがおすすめです。
3. 特定の会話を開きます。
4. 画面左上でPlainからVerbose（冗長）に切り替えます。
5. Tool Callのエントリーを確認し、どのツールが使われ、詳細な結果も確認しましょう。

チャットボット回答で判明した問題を解決する

チャットボットが正しい情報を保持しているにもかかわらず、誤った情報や最適でない内容を返している場合、以下の手順で原因を特定し、改善を図りましょう。

• Document Retrieverが使われているか確認する。 冗長履歴でDocument Retrieverが使用されていない場合は、ツールコールエージェントコンポーネントのシステムプロンプトを更新し、回答作成時に常にDocument Retrieverを活用するようにしましょう。プロンプトに以下のような指示を追加して強化できます。

  <core_instructions>
  常にTool Callを使用し、「Document Retriever」を活用して簡潔な回答を作成し、詳細についてはDocument Retrieverで取得したURLを必ず含めてください。
  </core_instructions>
  

  こうすることで、チャットボットがあなたのドキュメントやSchedulesの資料を情報源として検索・活用し、事前学習データだけに頼った誤った回答や最適でない情報のリスクを最小化できます。

• 取得されたドキュメントを確認する。 冗長ログでDocument Retrieverが使われていても、異なる記事や関係のない記事が返された場合は、以下を検討してください。

  • ナレッジベースを強化する: 新しい記事を追加したり、既存の記事を拡充して、顧客の質問に出てきそうなキーワードやフレーズを含めましょう。適切な情報が取得される可能性が高まります。
  • 記事のメタデータを精査する: 記事タイトル、サマリー、タグがDocument Retrieverコンポーネントで見つけやすい内容になっているか確認しましょう。
  • FAQを作成する: よくある質問や繰り返し出てくる内容については、正しい回答を記載したFAQエントリーを専用で用意しましょう。今後チャットボットが正確な情報を簡単に取得・提示できるようになります。
  • システムプロンプトの指示を見直す: チャットボットが特定の状況でメール送信やエージェントへの転送、特定の方法で回答すべき場合は、ツールコールエージェントのシステムプロンプトに具体的なケースごとの指示を追加してください。例：

  <case_specific_instructions>
  - YOUR_PRODUCT_NAMEに関する問題:
    - ユーザーに、アカウント名を「account.domain.com」という形式で丁寧に尋ねてください。
    - ユーザーがアカウント名を入力した後、直ちに「LiveAgent Human Assist」ツールを使ってHuman Support Agentへチャットを転送してください。
  </case_specific_instructions>
  

チャットボット回答の定期的な見直し

特に初期導入後の数週間は、誤った回答や最適でない回答を特定できるよう、チャットボット回答の定期的な見直しルーチンを確立することを推奨します。

ヒント: タグ付けの活用

チャットボットの履歴画面で直接タグ付けすることで、既に確認済みのケースや、今後さらなる分析や改善が必要なケースを整理・管理できます。

• 確認済みの会話にはタグを付けて、同じ会話を重複して確認するのを防ぎます。
• 問題のある会話はタグ付けして素早く参照できるようにします。
• ok、要確認、誤りなどのタグや、用途に応じたカスタムタグを活用しましょう。