Jak ladit odpovědi chatbota

Kontrola historie chatbota s podrobným logováním

FlowHunt poskytuje historii interakcí s chatbotem, která vám umožní prohlížet si podrobné informace o každé chatovací relaci. Pokud byly během chatu použity specifické komponenty, například Document Retriever, záznamy v režimu verbose to ukážou, včetně toho, které dokumenty byly nalezeny a využity při tvorbě odpovědi chatbota.

Kde najít podrobné logy?

1. Ve svém workspace FlowHunt otevřete Historii v levém menu nebo použijte tento odkaz: https://app.flowhunt.io/aistudio/chatbot-history
2. Použijte dostupné filtry. Doporučujeme alespoň nastavit filtr na relaci, abyste zúžili výsledky na požadované časové období.
3. Otevřete konkrétní konverzaci.
4. V levém horním rohu obrazovky přepněte z Plain na Verbose.
5. Hledejte záznamy Tool Call a ověřte, zda (a který) nástroj byl použit spolu s podrobnými výsledky.

Řešení nalezených problémů v odpovědích chatbota

Pokud zjistíte, že chatbot poskytl nesprávné nebo neoptimální informace, i když jsou správné informace k dispozici, postupujte podle těchto kroků k odhalení příčin a zlepšení výsledků.

• Zkontrolujte, zda byl použit Document Retriever. Pokud podrobná historie ukazuje, že Document Retriever nebyl použit, aktualizujte systémový prompt komponenty nástroje-calling agenta, aby vždy využíval Document Retriever při sestavování odpovědí. Prompt můžete vylepšit přidáním instrukcí jako např.:

  <core_instructions>
  VŽDY používejte Tool Call a využijte "Document Retriever" k poskytnutí stručných odpovědí s URL z Document Retriever pro více detailů.
  </core_instructions>
  

  Tím zajistíte, že chatbot bude vyhledávat a zapojovat vaše dokumenty a články ze Schedules jako zdrojový materiál pro odpovědi, čímž se minimalizuje riziko poskytnutí nesprávných nebo neoptimálních informací pouze na základě předtrénovaných dat.

• Zkontrolujte získané dokumenty. Pokud podrobný log ukazuje, že Document Retriever byl použit, ale vrátil jiné nebo nerelevantní články, zvažte následující:

  • Vylepšete svou znalostní bázi: Přidejte nové články nebo rozšiřte stávající o klíčová slova a fráze, které se pravděpodobně objeví v dotazech zákazníků. Zvýšíte tak šanci na získání správných informací.
  • Vylepšete metadata článků: Ujistěte se, že články mají relevantní názvy, shrnutí a štítky pro lepší dohledatelnost komponentou Document Retriever.
  • Vytvořte FAQ: Pro časté nebo opakující se dotazy vytvořte samostatné FAQ záznamy se správnými odpověďmi. Chatbot tak bude moci v budoucnu snadno najít a předat správné informace.
  • Zkontrolujte instrukce v systémovém promptu: Pro případy, kdy má chatbot reagovat specificky, například spustit e-mail, předat konverzaci agentovi nebo odpovědět specifickým způsobem, aktualizujte systémový prompt komponenty nástroje-calling agenta přidáním konkrétních instrukcí, například:

  <case_specific_instructions>
  - Problémy s YOUR_PRODUCT_NAME:
    - Zdvořile požádejte uživatele o sdělení jeho jména účtu ve formátu: account.domain.com.
    - Teprve po obdržení jména účtu okamžitě použijte nástroj "LiveAgent Human Assist" pro předání chatu lidskému agentovi podpory.
  </case_specific_instructions>
  

Pravidelná kontrola odpovědí chatbota

Zejména v prvních týdnech po spuštění doporučujeme zákazníkům zavést rutinu pro pravidelnou kontrolu odpovědí chatbota, abyste včas odhalili nesprávné nebo neoptimální reakce.

Tip: Používejte štítkování

Štítkování přímo v historii chatbota pomáhá organizovat a sledovat případy, které jste již zkontrolovali, i ty, které vyžadují další analýzu nebo vylepšení.

• Označte štítkem konverzace, které jste již zkontrolovali, abyste je nemuseli procházet znovu.
• Označte problematické konverzace pro rychlý přehled.
• Používejte štítky jako ok, ke kontrole, nesprávné nebo vlastní štítky podle vašich potřeb.