채팅 기록 컴포넌트

고객이 챗봇과 자신의 주문에 대해 대화하고 있다고 상상해보세요. 고객이 추가 질문을 했지만, 챗봇이 어떤 주문에 대해 이야기하고 있었는지 바로 잊어버리면 고객 경험에 큰 불만이 생깁니다. 이를 방지하기 위해서는 챗봇이 대화 기록을 기억해야 하며, 바로 이 컴포넌트가 그 역할을 합니다.

하지만 AI가 이전 메시지를 기억하려면 토큰이 소모됩니다. 또한, 많은 플로우 사용 사례에서는 메모리가 필요하지 않을 수 있습니다. 그래서 이 컴포넌트는 선택적으로 사용할 수 있으며, 필요에 따라 메모리 한도를 조정하여 비용까지 절감할 수 있습니다.

채팅 기록 컴포넌트란?

채팅 기록 컴포넌트는 챗봇이 이전 메시지 중 일정 개수만 기억하도록 보장합니다. 이로써 챗봇이 일관성 있는 대화를 유지할 수 있으며, 기억하는 메시지 수와 토큰 사용량을 제한할 수 있습니다.

채팅 기록 컴포넌트는 메모리 카테고리에서 찾을 수 있으며, 선택적으로 사용할 수 있습니다:

마지막 메시지 개수

이 설정은 챗봇이 몇 개의 이전 메시지를 기억할지 제어합니다. 기본값은 5개이며, 대부분의 기본적인 문의에 적합한 대화 범위를 커버할 수 있습니다. 더 긴 대화의 맥락을 기억해야 하는 경우, 이 한도를 늘릴 수 있지만, 최대 토큰(Max Tokens) 설정도 함께 높여야 한다는 점을 잊지 마세요.

최대 토큰(Max Tokens)

각 과거 메시지는 더 작은 텍스트 단위인 토큰으로 분할되어 모델이 관련성 있고 맥락에 맞는 응답을 생성할 수 있게 처리됩니다. 최대 토큰 설정은 이전 메시지를 기억하는 데 사용되는 토큰 수의 한계를 정합니다. 토큰 사용량은 모델에 따라 다르며, 한 토큰은 단어, 부분 단어 또는 한 글자일 수 있습니다.

메시지 유형

이 드롭다운 설정을 통해 어떤 종류의 메시지를 기억할지 선택할 수 있습니다: 인간 메시지만, AI 메시지만, 또는 모두.

채팅 기록 컴포넌트를 플로우에 연결하는 방법

기록은 정상적으로 동작하려면 반드시 LLM과 사용자 입력에 연결되어야 합니다. 하지만 이 컴포넌트는 입력 핸들이 없고, 출력 핸들만 있다는 점을 알 수 있습니다.

채팅 기록 컴포넌트의 출력 타입은 chat history이며, 프롬프트(Prompts) 및 스플리터(Splitters) 등 기록을 필요로 하는 컴포넌트에 연결됩니다.

예를 들어, 후속 질문 컴포넌트에서는 LLM 생성기와 연결해 답변을 제공하고, 맥락은 채팅 기록으로, 입력 텍스트는 인간 Chat Input으로 연결합니다.