Sådan fejlfinder du chatbot-svar

Gennemgå chatbot-historik med detaljeret logning

FlowHunt giver dig en historik over chatbot-interaktioner, så du kan gennemgå detaljerede logoplysninger om hver chatsession. Hvis specifikke komponenter, såsom Document Retriever, blev brugt under en chat, vil loggene i detaljeret tilstand vise dette, herunder hvilke dokumenter der blev fundet og brugt til at sammensætte chatbot’ens svar.

Hvor får man adgang til detaljerede logs?

1. I dit FlowHunt-arbejdsområde: Åbn Historik fra menuen i venstre side, eller brug dette link: https://app.flowhunt.io/aistudio/chatbot-history
2. Brug de tilgængelige filtre. Det anbefales at bruge mindst sessionsfilteret for at angive det tidsrum, du vil tjekke, for at indsnævre resultaterne.
3. Åbn en specifik samtale.
4. Skift fra Plain til Verbose øverst til venstre på skærmen.
5. Se efter Tool Call-poster og find ud af, om (og hvilket) værktøj der blev brugt, sammen med detaljerede resultater.

Løs identificerede problemer i chatbot-svar

Hvis du oplever, at chatbotten har givet forkerte eller suboptimale oplysninger, selvom de korrekte oplysninger er tilgængelige, skal du følge disse trin for at fejlfinde og forbedre resultaterne.

• Tjek om Document Retriever blev brugt. Hvis den detaljerede historik viser, at Document Retriever ikke blev brugt, skal du opdatere systemprompten for komponenten, der kalder værktøjer, for at sikre, at den altid udnytter Document Retriever, når der konstrueres svar. Du kan styrke prompten ved at tilføje instruktioner som:

  <core_instructions>
  ALWAYS use Tool Call and utilize "Document Retriever" to provide concise responses with URLs from Document Retriever for more details.
  </core_instructions>
  

  Dette bør sikre, at chatbotten søger efter og inddrager dine dokumenter og artikler fra Schedules som kildemateriale til sine svar, hvilket minimerer risikoen for at give forkerte eller suboptimale oplysninger udelukkende baseret på dens fortrænede data.

• Gennemgå de hentede dokumenter. Hvis den detaljerede log viser, at Document Retriever blev brugt, men den returnerede andre eller irrelevante artikler, bør du overveje følgende:

  • Forbedr din vidensbase: Tilføj nye artikler eller forbedr eksisterende, så de indeholder nøgleord og vendinger, der sandsynligvis vil optræde i kundespørgsmål. Dette øger sandsynligheden for, at de rigtige oplysninger bliver hentet.
  • Forfin artikelmetadata: Sørg for, at artikler har relevante titler, resuméer og tags for at øge deres synlighed for Document Retriever-komponenten.
  • Opret FAQ: For almindelige eller tilbagevendende spørgsmål, lav dedikerede FAQ-indlæg med de korrekte svar. Dette sikrer, at chatbotten let kan finde og præsentere de rigtige oplysninger fremover.
  • Gennemgå systemprompt-instruktioner: I situationer hvor chatbotten skal opføre sig på en bestemt måde, fx udløse e-mail, overføre til en agent, eller svare på en bestemt måde, bør du opdatere systemprompten for værktøjsagenten, så den har specifikke case-instruktioner, ved at tilføje instruktioner som:

  <case_specific_instructions>
  - Issues with YOUR_PRODUCT_NAME:
    - Politely ask the user to provide their account name in the format: account.domain.com.
    - Only after the user provides their account name, immediately use the "LiveAgent Human Assist" tool to transfer the chat to a Human Support Agent.
  </case_specific_instructions>
  

Regelmæssig gennemgang af chatbot-svar

Især i de første uger efter første implementering anbefaler vi, at kunder etablerer en rutine for at gennemgå chatbot-svar for at identificere eventuelle forkerte eller suboptimale svar.

Tip: Brug tagging

Tagging direkte i chatbot-historikken hjælper med at organisere og følge op på sager, du allerede har tjekket, samt dem, der kræver yderligere analyse eller forbedring.

• Tag samtaler, du har tjekket, for at undgå at gennemgå den samme samtale to gange.
• Tag problematiske samtaler for hurtig reference.
• Brug tags som ok, needs review, incorrect eller tilpassede tags, der er relevante for dine behov.