AI có thể phân tích một lượng lớn dữ liệu chỉ trong vài giây, nhưng chỉ một phần dữ liệu là phù hợp hoặc thích hợp để xuất ra. Thành phần Chuyển Đổi Tài Liệu Thành Văn Bản giúp bạn kiểm soát cách dữ liệu từ các bộ truy xuất được xử lý và chuyển đổi thành văn bản.

Thành phần Chuyển Đổi Tài Liệu Thành Văn Bản được thiết kế để chuyển đổi các tài liệu kiến thức đầu vào thành định dạng văn bản thuần túy. Điều này đặc biệt hữu ích trong các quy trình AI và xử lý dữ liệu, nơi dữ liệu dạng văn bản là cần thiết cho các bước xử lý tiếp theo, phân tích hoặc làm đầu vào cho các mô hình ngôn ngữ.

Thành phần này làm gì

Thành phần này nhận một hoặc nhiều tài liệu có cấu trúc (như HTML, Markdown, PDF hoặc các định dạng khác được hỗ trợ) và trích xuất nội dung văn bản. Bạn có thể chỉ định chính xác phần nào của tài liệu sẽ xuất ra, có bao gồm siêu dữ liệu hay không, và cách xử lý các phần hoặc tiêu đề của tài liệu. Đầu ra là một đối tượng tin nhắn hợp nhất chứa văn bản đã trích xuất, sẵn sàng cho các tác vụ tiếp theo như tóm tắt, phân loại hoặc trả lời câu hỏi.

Đầu vào

Thành phần chấp nhận một số đầu vào có thể cấu hình:

Các loại nội dung khả dụng: H1, H2, H3, H4, H5, H6, Đoạn văn
Tùy chọn siêu dữ liệu: Tác giả, Sản phẩm, BreadcrumbList, VideoObject, BlogPosting, FAQPage, WebSite, opengraph

Đầu ra

Thành phần tạo ra đầu ra sau:

• Tin nhắn: Một đối tượng tin nhắn chứa văn bản đã chuyển đổi và bất kỳ siêu dữ liệu nào được bao gồm.

Tính năng nổi bật & Lợi ích

• Trích xuất nội dung linh hoạt: Kiểm soát chính xác phần nào của tài liệu được trích xuất (ví dụ: chỉ tiêu đề chính và đoạn văn, hoặc toàn bộ nội dung).
• Bao gồm Siêu dữ liệu: Tùy chọn đưa vào siêu dữ liệu phong phú (ví dụ: tác giả, sản phẩm, hoặc dữ liệu có cấu trúc) trong đầu ra, hữu ích cho bước xử lý theo ngữ cảnh tiếp theo.
• Quản lý giới hạn token: Hạn chế kích thước đầu ra để phù hợp với yêu cầu mô hình phía sau bằng cách thiết lập số lượng token tối đa.
• Chiến lược trích xuất tùy chỉnh:
  • Nối tài liệu, điền từ đầu tiên cho đến khi đạt giới hạn token: Ưu tiên điền tuần tự từ tài liệu đầu tiên.
  • Bao gồm kích thước bằng nhau từ mỗi tài liệu: Cân bằng nội dung từ nhiều tài liệu trong phạm vi giới hạn token.
• Xử lý phần thông minh: Tùy chọn bỏ qua chân trang của tài liệu hoặc bắt đầu từ phần liên quan nhất với truy vấn, tăng tính phù hợp của văn bản trích xuất.

Các trường hợp sử dụng điển hình

• Tiền xử lý kho kiến thức cho các mô hình AI (ví dụ: trước khi nhúng hoặc lập chỉ mục).
• Tóm tắt hoặc rút gọn tài liệu lớn bằng cách chỉ trích xuất các phần liên quan.
• Cung cấp nội dung có cấu trúc cho chatbot, công cụ tìm kiếm hoặc các quy trình xử lý ngôn ngữ tự nhiên khác.
• Xây dựng hệ thống truy xuất lai kết hợp văn bản với siêu dữ liệu để bổ sung ngữ cảnh phong phú hơn.

Bảng tóm tắt

Chiến lược

Bot có thể thu thập nhiều tài liệu để tạo ra đầu ra văn bản. Thiết lập Chiến lược giúp bạn kiểm soát cách nó sử dụng các tài liệu này một cách thông minh trong phạm vi giới hạn token.

Hiện tại có hai chiến lược khả dụng:

• Bao gồm kích thước bằng nhau từ mỗi tài liệu: Sử dụng tất cả các tài liệu tìm được một cách đồng đều.
• Nối tài liệu, điền từ đầu tiên cho đến khi đạt giới hạn token: Liên kết các tài liệu lại với nhau, ưu tiên theo mức độ liên quan với truy vấn.

Cách kết nối thành phần Chuyển Đổi Tài Liệu Thành Văn Bản vào luồng của bạn

Đây là một thành phần transformer, nghĩa là nó kết nối giữa hai đầu ra. Chuyển Đổi Tài Liệu Thành Văn Bản nhận Tài Liệu được xuất ra từ các thành phần Bộ Truy Xuất:

• Bộ Truy Xuất Tài Liệu – lấy kiến thức từ các nguồn kiến thức đã kết nối (trang, tài liệu, v.v.).
• Bộ Truy Xuất URL – Cho phép bạn chỉ định một URL để bot lấy kiến thức.
• GoogleSearch – Mang đến cho bot khả năng tìm kiếm kiến thức trên web.

Kiến thức sẽ được chuyển đổi thành văn bản Markdown dễ đọc khi đi qua transformer. Văn bản này sau đó có thể kết nối với các thành phần cần đầu vào dạng văn bản, như splitter, widget hoặc đầu ra.

Dưới đây là ví dụ về luồng sử dụng thành phần Chuyển Đổi Tài Liệu Thành Văn Bản để kết nối giữa Bộ Truy Xuất Tài Liệu và AI Generator: