Khiến LLM tự kiểm tra thông tin và đính kèm nguồn tham khảo

RIG (Retrieval Interleaved Generation) là gì?

Retrieval Interleaved Generation, hay gọi tắt là RIG, là một phương pháp AI tiên tiến kết hợp mượt mà giữa việc tìm kiếm thông tin và tạo ra câu trả lời. Trước đây, các mô hình AI dùng RAG (Retrieval Augmented Generation) hoặc sinh nội dung riêng lẻ, nhưng RIG lại trộn lẫn các quy trình này để tăng độ chính xác cho AI. Bằng cách đan xen giữa truy xuất và sinh nội dung, hệ thống AI có thể khai thác một nền tảng tri thức rộng lớn hơn, mang lại các phản hồi chính xác và phù hợp hơn. Mục tiêu chính của RIG là giảm sai sót và nâng cao mức độ tin cậy của đầu ra AI, trở thành công cụ không thể thiếu cho các nhà phát triển muốn tinh chỉnh độ chính xác AI. Do đó, Retrieval Interleaved Generation trở thành một lựa chọn thay thế cho RAG nhằm tạo ra các câu trả lời dựa trên AI có bối cảnh rõ ràng.

RIG (Retrieval Interleaved Generation) hoạt động như thế nào?

Đây là cách RIG hoạt động. Các giai đoạn dưới đây được lấy cảm hứng từ bài blog gốc, tập trung nhiều hơn vào các trường hợp sử dụng tổng quát với API Data Commons. Tuy nhiên, trong đa số trường hợp, bạn nên kết hợp cả [kho tri thức tổng hợp (vd: Wikipedia hoặc Data Commons)] và dữ liệu riêng của mình. Sau đây là cách bạn có thể tận dụng sức mạnh của luồng trên FlowHunt để tạo chatbot RIG từ kho tri thức riêng và kho tri thức tổng hợp như Wikipedia.

1. Truy vấn của người dùng được gửi tới bộ sinh nội dung, tạo ra một câu trả lời mẫu với trích dẫn các phần tương ứng. Ở giai đoạn này, bộ sinh có thể tạo ra một câu trả lời khá tốt nhưng vẫn có thể bị “ảo giác” với dữ liệu hoặc số liệu không đúng.

2. Ở giai đoạn tiếp theo, chúng ta dùng AI Agent nhận đầu ra này rồi tinh chỉnh dữ liệu từng phần bằng cách kết nối với Wikipedia, đồng thời bổ sung nguồn tham khảo cho từng phần nội dung.

Như bạn thấy, phương pháp này nâng cao đáng kể độ chính xác của chatbot và đảm bảo mỗi phần sinh ra đều có nguồn dẫn, dựa trên sự thật.

Cách tạo Chatbot RIG trên FlowHunt?

Thêm Giai Đoạn Đầu (Bộ sinh câu trả lời mẫu đơn giản):

Phần đầu của luồng gồm Chat input, mẫu prompt và bộ sinh nội dung. Đơn giản chỉ cần kết nối chúng lại với nhau. Quan trọng nhất là mẫu prompt. Tôi đã sử dụng như sau:

Gived is user’s query. Based on the User’s query generate best possible answer with fake data or percentage. After each of different sections of your answer, include data which source to use in order to fetch the correct data and refine that section with correct data. You can either specify to choose Internal knowledge source to fetch data from in case there is custom data to user’s product or service or use Wikipedia to use as general knowledge source.

Example Input: Which countries are top in terms of renewable energy and what is the best metric for measuring this and what is that measure for top country?
Example output: The top countries in renewable energy are Norway, Sweden, Portugal, USA [Search in Wikipedia with query “Top Countries in renewable Energy”], the usual metric for renewable energy is Capacity factor [Search in Wikipedia with query “metric for renewable energy”], and number one country has 20% capacity factor [search in Wikipedia “biggest capacity factor”]

Let’s begin now!
User Input: {input}

Tại đây, chúng ta dùng kỹ thuật Few Shot prompting để buộc bộ sinh nội dung trả về đúng định dạng mong muốn.

Thêm Phần Kiểm Tra Sự Thật:

Giờ hãy thêm phần hai, nơi kiểm tra thông tin và tinh chỉnh lại đáp án dựa trên nguồn sự thật. Ở đây, chúng ta dùng Wikipedia và AI Agent, vì kết nối Wikipedia cho AI Agent linh hoạt hơn so với bộ sinh nội dung đơn thuần. Kết nối đầu ra của bộ sinh nội dung sang AI Agent và gắn thêm công cụ Wikipedia vào AI Agent. Đây là mục tiêu tôi sử dụng cho AI Agent:

You are given a sample answer to user’s question. The sample answer might include wrong data. Use Wikipedia tool in the given sections with the specified query to use Wikipedia’s information to refine the answer. Include the link of Wikipedia in each of the sections specified. FETCH DATA FROM YOUR TOOLS AND REFINE THE ANSWER IN THAT SECTION. ADD THE LINK TO THE SOURCE IN THAT PARTICULAR SECTION AND NOT IN THE END.

Tương tự, bạn có thể thêm Document Retriever cho AI Agent để kết nối với kho tri thức tùy chỉnh riêng của bạn nhằm truy xuất tài liệu.

Bạn có thể thử luồng này tại đây.

Hiểu về Retrieval-Augmented Generation (RAG)

Để thực sự trân trọng RIG, ta nên nhìn lại tiền bối của nó là Retrieval-Augmented Generation (RAG). RAG kết hợp thế mạnh của hệ thống truy xuất dữ liệu liên quan và mô hình sinh nội dung mạch lạc, phù hợp. Việc chuyển từ RAG sang RIG là một bước tiến lớn: RIG vừa truy xuất vừa sinh, lại còn đan xen các quy trình này để tăng độ chính xác và hiệu quả. Nhờ đó, hệ thống AI có thể cải thiện khả năng hiểu biết lẫn đầu ra theo từng bước, mang lại kết quả không chỉ đúng mà còn phù hợp và sâu sắc. Khi kết hợp truy xuất với sinh nội dung, AI có thể khai thác lượng thông tin khổng lồ mà vẫn đảm bảo câu trả lời nhất quán và liên quan.

Tương lai của Retrieval Interleaved Generation

Tương lai của Retrieval Interleaved Generation rất hứa hẹn, với nhiều tiến bộ và hướng nghiên cứu mới đang mở ra. Khi AI tiếp tục phát triển, RIG sẽ đóng vai trò then chốt trong việc định hình thế giới học máy và ứng dụng AI. Tác động tiềm năng của nó vượt xa khả năng hiện tại, hứa hẹn thay đổi cách hệ thống AI xử lý và tạo thông tin. Với các nghiên cứu liên tục, chúng ta kỳ vọng những đổi mới sẽ tăng cường tích hợp RIG vào nhiều khung AI khác nhau, dẫn tới các hệ thống AI tối ưu, chính xác và đáng tin cậy hơn. Khi những phát triển này diễn ra, vai trò của RIG sẽ ngày càng nổi bật, khẳng định vị trí là nền tảng cho độ chính xác và hiệu suất AI.

Tóm lại, Retrieval Interleaved Generation đánh dấu một bước tiến lớn trong hành trình nâng cao độ chính xác và hiệu quả AI. Bằng cách kết hợp khéo léo quy trình truy xuất và sinh nội dung, RIG giúp tăng hiệu suất của các mô hình ngôn ngữ lớn, cải thiện khả năng suy luận nhiều bước và mở ra nhiều ứng dụng trong giáo dục, kiểm tra sự thật. Nhìn về phía trước, sự phát triển không ngừng của RIG chắc chắn sẽ thúc đẩy đổi mới trong lĩnh vực AI, củng cố vai trò của nó như một công cụ thiết yếu trên con đường hướng tới các hệ thống trí tuệ nhân tạo thông minh và đáng tin cậy hơn.