如何调试聊天机器人回答

使用详细日志审查聊天机器人历史记录

FlowHunt 提供了聊天机器人交互的历史记录，让您可以查看每次聊天会话的详细日志信息。如果在聊天过程中使用了某些组件（如文档检索器），详细模式下的日志会显示相关信息，包括发现并用于生成机器人回答的文档。

如何访问详细日志？

1. 在您的 FlowHunt 工作区，从左侧菜单打开“历史记录”或使用此链接：https://app.flowhunt.io/aistudio/chatbot-history
2. 使用可用的筛选器。建议至少使用会话筛选器，指定您要检查的时间范围，以缩小结果范围。
3. 打开某个具体会话。
4. 在屏幕左上方将模式从 Plain 切换为 Verbose。
5. 查找 Tool Call 条目，并查看是否（以及使用了哪个）工具，以及详细的结果。

解决聊天机器人回答中发现的问题

如果您发现聊天机器人给出了错误或次优的信息，即使正确的信息已可用，请按以下步骤进行排查和优化。

• 检查是否使用了文档检索器。 如果详细历史显示未使用文档检索器，请更新工具调用代理组件的系统提示，确保其在构建回答时始终调用文档检索器。您可以通过添加如下指令来加强提示：

  <core_instructions>
  ALWAYS use Tool Call and utilize "Document Retriever" to provide concise responses with URLs from Document Retriever for more details.
  </core_instructions>
  

  这样可以确保聊天机器人搜索并引用您在 Schedules 中的文档和文章作为回答的来源，最大程度减少仅依赖其预训练数据导致的错误或次优信息。

• 审查检索到的文档。 如果详细日志显示已使用文档检索器，但返回的文章不相关或不准确，可考虑以下方法：

  • 优化知识库： 新增文章或完善现有文章，涵盖客户问题中常见的关键词和短语，提高检索到正确信息的概率。
  • 完善文章元数据： 确保文章有相关的标题、摘要和标签，以提升文档检索器的发现率。
  • 创建常见问题解答（FAQ）： 针对常见或重复性问题，建立专门的 FAQ 条目并提供正确答案，保证机器人未来能轻松检索和展示正确信息。
  • 审查系统提示指令： 针对需要特殊行为（如触发邮件、转人工或用特定方式回答）的场景，尝试更新工具调用代理组件的系统提示，添加具体案例指令，例如：

  <case_specific_instructions>
  - Issues with YOUR_PRODUCT_NAME:
    - Politely ask the user to provide their account name in the format: account.domain.com.
    - Only after the user provides their account name, immediately use the "LiveAgent Human Assist" tool to transfer the chat to a Human Support Agent.
  </case_specific_instructions>
  

定期审查聊天机器人回答

特别是在初始上线后的前几周，我们建议客户建立定期审查聊天机器人回答的习惯，以便及时发现错误或次优答案。

提示：使用标签功能

在聊天机器人历史记录中直接打标签有助于整理和追踪已检查和需进一步分析或优化的案例。

• 给已检查过的会话打标签，避免重复审查同一会话。
• 给有问题的会话加特别标签，便于快速查找。
• 可使用如 ok、needs review、incorrect 或自定义的标签，满足您的需求。