Hur du felsöker chatbot-svar

Granska chatbot-historik med detaljerad loggning

FlowHunt tillhandahåller en historik över chatbot-interaktioner, vilket gör det möjligt för dig att granska detaljerad logginformation om varje chattsession. Om specifika komponenter, såsom Document Retriever, användes under en chatt, kommer loggarna i detaljerat läge att visa detta, inklusive vilka dokument som hittades och användes för att skapa chatbotens svar.

Var hittar jag detaljerade loggar?

1. I din FlowHunt-arbetsyta, öppna Historik från menyn till vänster eller använd denna länk: https://app.flowhunt.io/aistudio/chatbot-history
2. Använd tillgängliga filter. Det rekommenderas att använda åtminstone sessionsfiltret för att specificera den tidsperiod du vill kontrollera och på så sätt begränsa resultaten.
3. Öppna en specifik konversation.
4. Byt från Enkel till Detaljerad längst upp till vänster på skärmen.
5. Leta efter Tool Call-poster och se om (och vilket) verktyg som användes, tillsammans med detaljerade resultat.

Åtgärda identifierade problem i chatbot-svar

Om du upptäcker att chatboten gav felaktig eller mindre optimal information trots att korrekt information finns tillgänglig, följ dessa steg för att felsöka och förbättra resultaten.

• Kontrollera om Document Retriever användes. Om den detaljerade historiken visar att Document Retriever inte användes, uppdatera systemprompten för komponenten som anropar verktyg för att säkerställa att den alltid använder Document Retriever när svar konstrueras. Du kan förstärka prompten genom att lägga till instruktioner som:

  <core_instructions>
  ANVÄND ALLTID Tool Call och utnyttja "Document Retriever" för att ge koncisa svar med URL:er från Document Retriever för mer information.
  </core_instructions>
  

  Detta bör säkerställa att chatboten söker och inkluderar dina dokument och artiklar från Schedules som källmaterial för att skapa svar, vilket minimerar risken för att ge felaktig eller mindre optimal information baserat enbart på dess förtränade data.

• Granska de upphämtade dokumenten. Om den detaljerade loggen visar att Document Retriever användes men returnerade andra eller irrelevanta artiklar, överväg följande:

  • Förbättra din kunskapsbas: Lägg till nya artiklar eller förbättra befintliga så att de inkluderar nyckelord och fraser som sannolikt förekommer i kundfrågor. Detta ökar sannolikheten att rätt information hämtas.
  • Förfina artikelmetadata: Se till att artiklar har relevanta titlar, sammanfattningar och taggar för att öka deras upptäckbarhet av Document Retriever-komponenten.
  • Skapa FAQ: För vanliga eller återkommande frågor, skapa dedikerade FAQ-poster med de korrekta svaren. Detta säkerställer att chatboten enkelt kan hämta och presentera rätt information i framtiden.
  • Granska instruktioner i systemprompten: I situationer där chatboten ska agera på ett specifikt sätt, exempelvis utlösa e-post, överföra till en agent eller svara på ett särskilt sätt, försök uppdatera systemprompten för komponenten som anropar verktyg så att den har instruktioner för särskilda fall genom att lägga till instruktioner som:

  <case_specific_instructions>
  - Problem med YOUR_PRODUCT_NAME:
    - Be artigt användaren att ange sitt kontonamn i formatet: account.domain.com.
    - Först efter att användaren uppgett sitt kontonamn, använd omedelbart verktyget "LiveAgent Human Assist" för att överföra chatten till en mänsklig supportagent.
  </case_specific_instructions>
  

Regelbunden granskning av chatbot-svar

Särskilt under de första veckorna efter den initiala implementeringen rekommenderar vi att kunder etablerar en rutin för att granska chatbot-svar för att identifiera eventuella felaktiga eller mindre optimala svar.

Tips: Använd taggning

Taggning direkt i chatbot-historiken hjälper till att organisera och följa upp ärenden som du redan har kontrollerat, samt de som kräver ytterligare analys eller förbättring.

• Tagga konversationer du har kontrollerat för att undvika att granska samma konversation två gånger.
• Tagga problematiska konversationer för snabb åtkomst.
• Använd taggar som ok, needs review, incorrect eller egna taggar som är relevanta för dina behov.