Como Depurar Respostas de Chatbots

Revise o Histórico do Chatbot com Logs Detalhados

O FlowHunt fornece um histórico das interações do chatbot, permitindo que você revise informações detalhadas de log sobre cada sessão de chat. Se componentes específicos, como o Document Retriever, foram utilizados durante um chat, os logs em modo detalhado indicarão isso, incluindo quais documentos foram descobertos e aproveitados para compor a resposta do chatbot.

Onde acessar os logs detalhados?

1. No seu workspace do FlowHunt, abra Histórico no menu lateral esquerdo ou use este link: https://app.flowhunt.io/aistudio/chatbot-history
2. Use os filtros disponíveis. Recomenda-se usar pelo menos o filtro de sessão para especificar o período que você deseja verificar, para restringir os resultados.
3. Abra uma conversa específica.
4. Altere de Simples para Detalhado no canto superior esquerdo da tela.
5. Procure as entradas de Chamada de Ferramenta e veja se (e qual) Ferramenta foi utilizada, junto com resultados detalhados.

Resolva problemas identificados nas respostas do chatbot

Se você perceber que o chatbot forneceu informações incorretas ou subótimas mesmo que a informação correta esteja disponível, siga estes passos para solucionar e melhorar os resultados.

• Verifique se o Document Retriever foi utilizado. Se o histórico detalhado indicar que o Document Retriever não foi usado, atualize o prompt do sistema do componente de chamada de ferramenta para garantir que ele sempre utilize o Document Retriever ao construir as respostas. Você pode reforçar o prompt adicionando instruções como:

  <core_instructions>
  SEMPRE use Chamada de Ferramenta e utilize o "Document Retriever" para fornecer respostas concisas com URLs do Document Retriever para mais detalhes.
  </core_instructions>
  

  Isso deve garantir que o chatbot pesquise e incorpore seus documentos e artigos dos Schedules como material de origem para compor as respostas, minimizando o risco de fornecer informações incorretas ou subótimas baseando-se apenas em seus dados pré-treinados.

• Revise os documentos recuperados. Se o log detalhado indicar que o Document Retriever foi usado, mas retornou artigos diferentes ou irrelevantes, considere o seguinte:

  • Melhore sua base de conhecimento: Adicione novos artigos ou melhore os existentes para incluir palavras-chave e frases que provavelmente aparecerão nas perguntas dos clientes. Isso aumenta a chance de que a informação correta seja recuperada.
  • Aprimore os metadados dos artigos: Certifique-se de que os artigos tenham títulos, resumos e tags relevantes para aumentar sua encontrabilidade pelo componente Document Retriever.
  • Crie FAQs: Para perguntas comuns ou recorrentes, crie entradas de FAQ dedicadas com as respostas corretas. Isso garante que o chatbot possa facilmente recuperar e apresentar a informação correta no futuro.
  • Revise as instruções do prompt do sistema: Para situações em que o chatbot deve agir de forma específica e acionar um e-mail, transferir para um agente ou responder de uma maneira particular, tente atualizar o prompt do sistema do componente de chamada de ferramenta para garantir que tenha instruções específicas para cada caso, adicionando instruções como:

  <case_specific_instructions>
  - Problemas com SEU_NOME_DE_PRODUTO:
    - Peça educadamente ao usuário para fornecer seu nome de conta no formato: conta.dominio.com.
    - Somente após o usuário fornecer o nome da conta, utilize imediatamente a ferramenta "LiveAgent Human Assist" para transferir o chat para um Agente de Suporte Humano.
  </case_specific_instructions>
  

Revisão Regular das Respostas do Chatbot

Especialmente nas primeiras semanas após a implementação inicial, aconselhamos que os clientes estabeleçam uma rotina para revisar as respostas do chatbot a fim de identificar quaisquer respostas incorretas ou subótimas.

Dica: Use Tags

Marcar diretamente no histórico do chatbot ajuda a organizar e rastrear casos que você já verificou, bem como aqueles que requerem mais análise ou melhoria.

• Marque conversas que você já revisou para evitar revisar a mesma conversa duas vezes.
• Marque conversas problemáticas para referência rápida.
• Use tags como ok, precisa revisão, incorreto ou tags personalizadas relevantes para suas necessidades.