Hvordan feilsøke chatbot-svar

Gå gjennom chatbot-historikk med detaljert logging

FlowHunt gir deg en historikk over chatbot-interaksjoner, slik at du kan gjennomgå detaljert logginformasjon om hver chat-økt. Hvis spesifikke komponenter, som Dokumenthenteren, ble brukt under en chat, vil loggene i detaljert modus vise dette, inkludert hvilke dokumenter som ble funnet og brukt for å sette sammen chatbotens svar.

Hvor finner jeg detaljerte logger?

1. I ditt FlowHunt-arbeidsområde, åpne Historikk fra menyen til venstre eller bruk denne lenken: https://app.flowhunt.io/aistudio/chatbot-history
2. Bruk tilgjengelige filtre. Det anbefales å bruke minst økt-filteret for å spesifisere tidsperioden du vil sjekke, for å begrense resultatene.
3. Åpne en spesifikk samtale.
4. Bytt fra Enkel til Detaljert øverst til venstre på skjermen.
5. Se etter “Tool Call”-oppføringer og sjekk om (og hvilket) verktøy som ble brukt, samt detaljerte resultater.

Løs identifiserte problemer i chatbot-svar

Hvis du oppdager at chatboten ga feil eller suboptimal informasjon selv om korrekt informasjon er tilgjengelig, følg disse stegene for å feilsøke og forbedre resultatene.

• Sjekk om Dokumenthenteren ble brukt. Hvis detaljert historikk viser at Dokumenthenteren ikke ble brukt, oppdater systemprompten til komponenten som kaller verktøy for å sikre at den alltid bruker Dokumenthenteren når svar skal lages. Du kan forsterke prompten ved å legge til instruksjoner som:

  <core_instructions>
  BRUK ALLTID Tool Call og benytt "Document Retriever" for å gi konsise svar med URL-er fra Document Retriever for mer informasjon.
  </core_instructions>
  

  Dette skal sikre at chatboten søker etter og inkluderer dine dokumenter og artikler fra Schedules som kildemateriale for svarene, og dermed reduserer risikoen for å gi feil eller suboptimal informasjon basert utelukkende på forhåndstrent data.

• Gå gjennom de hentede dokumentene. Hvis detaljert logg viser at Dokumenthenteren ble brukt, men at den returnerte andre eller irrelevante artikler, vurder følgende:

  • Forbedre kunnskapsbasen din: Legg til nye artikler eller forbedre eksisterende slik at de inkluderer nøkkelord og fraser som sannsynligvis vil forekomme i kundespørsmål. Dette øker sannsynligheten for at rett informasjon blir hentet ut.
  • Forbedre metadata for artikler: Sørg for at artiklene har relevante titler, sammendrag og tagger for å øke synligheten for Dokumenthenter-komponenten.
  • Lag FAQ-er: For vanlige eller gjentagende spørsmål, lag dedikerte FAQ-oppføringer med de riktige svarene. Dette sikrer at chatboten lett kan hente frem og presentere riktig informasjon i fremtiden.
  • Gjennomgå instruksjonene i systemprompten: I situasjoner der chatboten skal opptre på en spesiell måte, for eksempel utløse e-post, overføre til en agent eller svare på en bestemt måte, bør du oppdatere systemprompten til komponenten som kaller verktøy for å sikre at den har instruksjoner for spesifikke tilfeller, ved å legge til instruksjoner som:

  <case_specific_instructions>
  - Problemer med YOUR_PRODUCT_NAME:
    - Be brukeren høflig om å oppgi sitt kontonavn i formatet: konto.domene.com.
    - Først etter at brukeren har oppgitt sitt kontonavn, bruk straks "LiveAgent Human Assist"-verktøyet for å overføre chatten til en menneskelig supportagent.
  </case_specific_instructions>
  

Jevnlig gjennomgang av chatbot-svar

Spesielt de første ukene etter første implementering anbefaler vi kundene å etablere en rutine for å gjennomgå chatbot-svar for å avdekke eventuelle feil eller suboptimale responser.

Tips: Bruk tagging

Tagging direkte i chatbot-historikken hjelper deg å organisere og spore saker du allerede har gjennomgått, samt de som krever ytterligere analyse eller forbedring.

• Tag samtaler du har sjekket for å unngå å gå gjennom samme samtale to ganger.
• Tag problematiske samtaler for rask referanse.
• Bruk tagger som ok, trenger gjennomgang, feil, eller egendefinerte tagger som passer dine behov.