Kuinka debugata chatbotin vastauksia

Tarkastele chatbotin historiaa yksityiskohtaisella lokituksella

FlowHunt tarjoaa historian chatbotin vuorovaikutuksista, jonka avulla voit tarkastella yksityiskohtaista lokitietoa jokaisesta keskustelusessiosta. Jos tietyt komponentit, kuten Document Retriever, ovat olleet käytössä keskustelun aikana, lokit yksityiskohtaisessa tilassa näyttävät tämän sekä sen, mitkä dokumentit löydettiin ja niitä hyödynnettiin chatbotin vastausta laadittaessa.

Mistä löydän yksityiskohtaiset lokit?

1. FlowHunt-työtilassasi avaa Historia vasemman reunan valikosta tai käytä tätä linkkiä: https://app.flowhunt.io/aistudio/chatbot-history
2. Käytä saatavilla olevia suodattimia. Suosittelemme käyttämään vähintään sessiosuodatinta määrittääksesi tarkasteltavan aikavälin ja kaventaaksesi tuloksia.
3. Avaa tietty keskustelu.
4. Vaihda näkymästä Plain tilaan Verbose näytön vasemmasta yläkulmasta.
5. Etsi Tool Call -merkintöjä ja katso, onko (ja mikä) työkalu ollut käytössä sekä tarkastele yksityiskohtaisia tuloksia.

Ratkaise chatbotin vastauksissa havaitut ongelmat

Jos huomaat, että chatbot antoi virheellistä tai puutteellista tietoa, vaikka oikea tieto on saatavilla, noudata seuraavia ohjeita ongelman selvittämiseksi ja lopputulosten parantamiseksi.

• Tarkista, käytettiinkö Document Retrieveria. Jos yksityiskohtainen historia osoittaa, että Document Retrieveria ei käytetty, päivitä työkalujen kutsuja hallitsevan agenttikomponentin järjestelmäohjetta niin, että se aina hyödyntää Document Retrieveria vastauksia muodostaessaan. Voit vahvistaa ohjetta lisäämällä esimerkiksi seuraavan ohjeen:

  <core_instructions>
  KÄYTÄ AINA Tool Call -toimintoa ja hyödynnä "Document Retriever" -työkalua tarjotaksesi tiiviitä vastauksia ja lisää Document Retrieverin tarjoamat URL-osoitteet lisätietoja varten.
  </core_instructions>
  

  Tämä varmistaa, että chatbot etsii ja hyödyntää dokumentteja ja artikkeleitasi Schedulesista lähdemateriaalina vastauksille, mikä minimoi riskin, että chatbot antaa virheellistä tai puutteellista tietoa pelkästään esikoulutetun datansa perusteella.

• Tarkista löydetyt dokumentit. Jos yksityiskohtainen loki osoittaa, että Document Retriever oli käytössä, mutta se palautti vääriä tai epärelevantteja artikkeleita, harkitse seuraavia toimenpiteitä:

  • Paranna tietopankkiasi: Lisää uusia artikkeleita tai kehitä olemassa olevia sisältämään niitä avainsanoja ja lauseita, joita asiakkaasi todennäköisesti käyttävät kysymyksissään. Näin oikea tieto löytyy todennäköisemmin.
  • Tarkenna artikkelien metatietoja: Varmista, että artikkeleilla on olennaiset otsikot, tiivistelmät ja tagit, jotta Document Retriever löytää ne helpommin.
  • Luo usein kysytyt kysymykset (FAQ): Toistuville kysymyksille luo omat FAQ-merkinnät oikeine vastauksineen. Näin chatbot löytää ja esittää oikean tiedon helposti jatkossa.
  • Tarkista järjestelmäohjeiden sisältö: Jos chatbotin tulee toimia tietyllä tavalla, esimerkiksi lähettää sähköposti, siirtää keskustelu agentille tai vastata tietyllä tavalla, päivitä työkalujen kutsuja hallitsevan agentin järjestelmäohjetta lisäämällä tapauskohtaisia ohjeita, esimerkiksi näin:

  <case_specific_instructions>
  - Ongelmat tuotteen YOUR_PRODUCT_NAME kanssa:
    - Pyydä käyttäjää kohteliaasti antamaan tilinsä nimi muodossa: account.domain.com.
    - Vasta kun käyttäjä on antanut tilitietonsa, käytä välittömästi "LiveAgent Human Assist" -työkalua keskustelun siirtämiseksi ihmisasiakaspalvelijalle.
  </case_specific_instructions>
  

Chatbotin vastausten säännöllinen tarkastelu

Erityisesti käyttöönoton ensimmäisinä viikkoina suosittelemme asiakkaita ottamaan tavaksi tarkistaa chatbotin vastauksia säännöllisesti, jotta mahdolliset virheelliset tai puutteelliset vastaukset huomataan ajoissa.

Vinkki: Käytä tageja

Tagien käyttö suoraan chatbotin historiassa auttaa järjestämään ja seuraamaan tarkastettuja sekä lisäselvitystä tai kehitystä kaipaavia tapauksia.

• Merkitse tagilla keskustelut, jotka olet jo tarkistanut, jotta et käy läpi samoja uudelleen.
• Merkitse ongelmalliset keskustelut nopeaa tarkastelua varten.
• Käytä esimerkiksi tageja ok, needs review, incorrect tai omia tarpeisiisi sopivia tageja.