챗봇 답변 디버깅 방법

상세 로깅으로 챗봇 이력 검토하기

FlowHunt는 챗봇 상호작용의 이력을 제공하여 각 채팅 세션에 대한 상세 로그 정보를 확인할 수 있습니다. 예를 들어 Document Retriever와 같은 특정 컴포넌트를 사용한 경우, 상세(Verbose) 모드의 로그에서 어떤 문서가 발견되고 챗봇 답변 작성에 활용되었는지까지 확인할 수 있습니다.

상세 로그는 어디에서 확인하나요?

1. FlowHunt 워크스페이스에서 왼쪽 메뉴의 History(이력)를 열거나, 이 링크를 사용하세요: https://app.flowhunt.io/aistudio/chatbot-history
2. 제공된 필터를 사용하세요. 최소한 세션 필터를 사용하여 확인하고 싶은 기간을 지정하는 것이 좋으며, 결과를 좁혀볼 수 있습니다.
3. 특정 대화를 엽니다.
4. 화면 좌측 상단에서 Plain에서 Verbose로 변경하세요.
5. Tool Call 항목을 찾아보고, (어떤) 도구가 사용되었는지와 상세 결과를 확인하세요.

챗봇 답변에서 발견된 문제 해결

정확한 정보가 있음에도 챗봇이 잘못되었거나 부적절한 정보를 제공했다면, 아래 단계를 따라 문제를 진단하고 결과를 개선해보세요.

• Document Retriever가 사용되었는지 확인하세요. 상세 이력에서 Document Retriever가 사용되지 않은 것으로 나타난다면, tool-calling agent 컴포넌트의 시스템 프롬프트를 수정하여 답변 작성 시 항상 Document Retriever를 활용하도록 해야 합니다. 다음과 같이 지시문을 추가하여 프롬프트를 강화할 수 있습니다:

  <core_instructions>
  반드시 Tool Call을 사용하고 "Document Retriever"를 활용하여 간결한 답변과 함께, 자세한 정보는 Document Retriever에서 제공하는 URL로 안내하세요.
  </core_instructions>
  

  이렇게 하면 챗봇이 답변 작성 시 Schedules에 등록된 문서와 게시글을 출처로 찾아보고 활용하게 되어, 사전 학습 데이터만으로 잘못된 답변을 제공할 위험을 최소화할 수 있습니다.

• 검색된 문서 검토하기. 상세 로그에서 Document Retriever가 사용되었으나 엉뚱하거나 관련 없는 문서가 반환된 경우 다음을 고려하세요:

  • 지식 베이스 개선: 고객 질문에 자주 등장할 만한 키워드와 문구를 포함하도록 신규 문서를 추가하거나 기존 문서를 보완하세요. 올바른 정보가 검색될 확률이 높아집니다.
  • 문서 메타데이터 정교화: 문서의 제목, 요약, 태그가 관련성 있게 작성되어 Document Retriever에서 더 잘 검색될 수 있도록 하세요.
  • FAQ 작성: 반복되거나 자주 묻는 질문에 대해 정답이 포함된 전용 FAQ 항목을 만들어 두세요. 챗봇이 이후 쉽게 올바른 정보를 찾아서 제공할 수 있습니다.
  • 시스템 프롬프트 지침 검토: 챗봇이 특정 행동(예: 이메일 발송, 담당자 전환, 특정 방식의 응답 등)을 해야 하는 경우, tool-calling agent 컴포넌트의 시스템 프롬프트에 사례별 지침을 다음과 같이 추가해 보세요:

  <case_specific_instructions>
  - YOUR_PRODUCT_NAME 관련 문제:
    - 사용자에게 계정명을 account.domain.com 형식으로 입력해달라고 정중히 요청하세요.
    - 사용자가 계정명을 입력하면 즉시 "LiveAgent Human Assist" 도구를 사용해 대화를 실시간 지원 담당자에게 전달하세요.
  </case_specific_instructions>
  

챗봇 답변의 정기적 검토

특히 초기 도입 후 몇 주간은 챗봇 답변을 정기적으로 점검하여 잘못되었거나 부적절한 응답을 식별하는 루틴을 마련하는 것을 권장합니다.

TIP: 태깅(Tagging) 활용

챗봇 이력에서 직접 태그를 활용하면 이미 검토한 건과 추가 분석이나 개선이 필요한 건을 체계적으로 분류하고 추적할 수 있습니다.

• 이미 확인한 대화에 태그를 달아 동일 대화를 반복 점검하는 것을 방지하세요.
• 문제 있는 대화는 태그로 빠르게 찾을 수 있습니다.
• ok, needs review, incorrect 또는 필요에 맞는 커스텀 태그를 활용하세요.