Cum să depanezi răspunsurile chatbotului

Revizuirea istoricului chatbotului cu jurnalizare detaliată

FlowHunt oferă un istoric al interacțiunilor cu chatbotul, permițându-ți să consulți informații detaliate de jurnal pentru fiecare sesiune de chat. Dacă anumite componente, precum Document Retriever, au fost folosite în timpul conversației, jurnalele în modul detaliat vor indica acest lucru, inclusiv ce documente au fost descoperite și utilizate pentru a compune răspunsul chatbotului.

Unde poți accesa jurnalele detaliate?

1. În workspace-ul tău FlowHunt, deschide Istoric din meniul din stânga sau folosește acest link: https://app.flowhunt.io/aistudio/chatbot-history
2. Folosește filtrele disponibile. Este recomandat să folosești cel puțin filtrul de sesiune pentru a specifica intervalul de timp pe care vrei să-l verifici, pentru a restrânge rezultatele.
3. Deschide o conversație specifică.
4. Schimbă din Plain în Verbose din partea stângă sus a ecranului.
5. Caută intrările Tool Call și vezi dacă (și care) unealtă a fost folosită, împreună cu rezultatele detaliate.

Rezolvarea problemelor identificate în răspunsurile chatbotului

Dacă observi că chatbotul a furnizat informații incorecte sau suboptime, chiar dacă informația corectă este disponibilă, urmează acești pași pentru a depana și îmbunătăți rezultatele.

• Verifică dacă a fost folosit Document Retriever. Dacă istoricul detaliat indică faptul că Document Retriever nu a fost folosit, actualizează promptul de sistem al componentei agentului care apelează unelte pentru a te asigura că utilizează întotdeauna Document Retriever atunci când construiește răspunsuri. Poți întări promptul prin adăugarea unor instrucțiuni precum:

  <core_instructions>
  FOLOSEȘTE ÎNTOTDEAUNA Tool Call și utilizează "Document Retriever" pentru a oferi răspunsuri concise cu URL-uri de la Document Retriever pentru mai multe detalii.
  </core_instructions>
  

  Astfel, chatbotul va căuta și va încorpora documentele și articolele tale din Schedules ca sursă pentru a compune răspunsuri, minimizând riscul de a oferi informații incorecte sau suboptime bazate doar pe datele pre-antrenate.

• Revizuiește documentele recuperate. Dacă jurnalul detaliat indică faptul că Document Retriever a fost folosit, dar a returnat articole diferite sau irelevante, ia în considerare următoarele:

  • Îmbunătățește baza ta de cunoștințe: Adaugă articole noi sau îmbunătățește-le pe cele existente pentru a include cuvinte-cheie și expresii care apar probabil în întrebările clienților. Astfel crești șansele ca informația corectă să fie recuperată.
  • Rafinează metadatele articolelor: Asigură-te că articolele au titluri, rezumate și etichete relevante pentru a le face mai ușor de descoperit de componenta Document Retriever.
  • Creează FAQ-uri: Pentru întrebări frecvente sau recurente, creează secțiuni FAQ dedicate cu răspunsuri corecte. Astfel, chatbotul va putea recupera și prezenta rapid informația potrivită pe viitor.
  • Revizuiește instrucțiunile din promptul de sistem: Pentru situații în care chatbotul trebuie să se comporte într-un anumit mod, să trimită un email, să transfere conversația la un agent sau să răspundă într-un mod specific, încearcă să actualizezi promptul de sistem al componentei agentului care apelează unelte, adăugând instrucțiuni specifice cazului, precum:

  <case_specific_instructions>
  - Probleme cu YOUR_PRODUCT_NAME:
    - Roagă politicos utilizatorul să furnizeze numele contului în formatul: cont.domeniu.com.
    - Doar după ce utilizatorul furnizează numele contului, folosește imediat unealta "LiveAgent Human Assist" pentru a transfera conversația către un agent de suport uman.
  </case_specific_instructions>
  

Revizuirea periodică a răspunsurilor chatbotului

Mai ales în primele săptămâni după implementarea inițială, recomandăm clienților să stabilească o rutină de revizuire a răspunsurilor chatbotului pentru a identifica orice răspunsuri incorecte sau suboptime.

Sfat: Folosește etichetarea (tagging)

Etichetarea direct în istoricul chatbotului te ajută să organizezi și să urmărești cazurile deja verificate, precum și pe cele care necesită analiză sau îmbunătățire suplimentară.

• Etichetează conversațiile verificate pentru a evita să le revezi de două ori.
• Etichetează conversațiile problematice pentru referință rapidă.
• Folosește etichete precum ok, de revizuit, incorect sau etichete personalizate relevante pentru nevoile tale.