Thành phần Lịch sử Trò chuyện

Hãy tưởng tượng một khách hàng đang trò chuyện với chatbot của bạn về đơn hàng của họ. Họ có thêm câu hỏi, nhưng bot lại ngay lập tức quên mất đơn hàng mà khách đang nói tới, gây ra trải nghiệm không tốt cho khách hàng. Để tránh điều này, bạn sẽ muốn chatbot nhớ lịch sử các tin nhắn, và đó chính là những gì thành phần này thực hiện.

Tuy nhiên, để AI ghi nhớ các tin nhắn trước đó sẽ tiêu tốn token. Hơn nữa, nhiều trường hợp sử dụng Flows không cần đến bộ nhớ. Đó là lý do thành phần này là tùy chọn và cho phép bạn giới hạn dung lượng bộ nhớ phù hợp với nhu cầu mà vẫn tiết kiệm chi phí.

Thành phần Lịch sử Trò chuyện là gì?

Thành phần Lịch sử Trò chuyện đảm bảo chatbot ghi nhớ một số lượng tin nhắn trước đó nhất định. Nó cho phép chatbot duy trì cuộc trò chuyện liền mạch đồng thời giới hạn số lượng tin nhắn được nhớ và lượng token sử dụng.

Lịch sử trò chuyện nằm trong danh mục Bộ nhớ của các thành phần và là tuỳ chọn:

Số lượng tin nhắn cuối cùng

Tùy chọn này kiểm soát số lượng tin nhắn trước đó mà chatbot nên nhớ. Giá trị mặc định là 5, đủ cho các cuộc trò chuyện xoay quanh các câu hỏi cơ bản. Nếu bạn cần bot giữ mạch trò chuyện lâu hơn, hãy tăng giới hạn này, nhưng đừng quên tăng cả thiết lập Max Tokens.

Max Tokens

Mỗi tin nhắn trước được mã hóa thành các đơn vị nhỏ hơn, để mô hình xử lý và tạo ra phản hồi phù hợp, nhận biết ngữ cảnh. Thiết lập Max Tokens sẽ giới hạn số lượng token dùng cho việc nhớ các tin nhắn trước. Lượng token sử dụng khác nhau tùy theo từng mô hình, và một token có thể là một từ, cụm từ hoặc thậm chí là một ký tự.

Loại tin nhắn

Tùy chọn thả xuống này cho phép bạn lọc các loại tin nhắn cần nhớ: chỉ tin nhắn của người dùng, chỉ tin nhắn của AI, hoặc tất cả.

Cách kết nối thành phần Lịch sử Trò chuyện vào flow của bạn

Lịch sử cần được kết nối với LLM và đầu vào của người dùng để hoạt động đúng. Tuy nhiên, bạn sẽ nhận thấy rằng thành phần này chỉ có đầu ra mà không có đầu vào.

Kiểu dữ liệu đầu ra của thành phần Lịch sử Trò chuyện là lịch sử trò chuyện, và nó kết nối với các thành phần yêu cầu lịch sử, đó là Prompts và Splitters.

Ví dụ, trong thành phần Câu hỏi tiếp theo, câu trả lời được tạo ra bằng cách kết nối với một bộ sinh LLM, ngữ cảnh được lấy từ lịch sử trò chuyện, và văn bản nhập được lấy từ Đầu vào Trò chuyện của người dùng.