Nguồn tri thức

Thu thập dữ liệu từ website

Thu thập dữ liệu từ một website, sitemap hoặc danh sách URL theo lịch trình để agent có thể trả lời dựa trên các trang của bạn.

Open in ChatGPT Open in Claude

Lịch trình (schedule) cho FlowHunt biết cần thu thập dữ liệu từ những trang nào và tần suất thu thập lại. Các trang đã thu thập được lập chỉ mục, để trình truy xuất (retriever) có thể tìm kiếm chúng. Mở Knowledge sources → Schedules để quản lý chúng.

Tạo một lịch trình#

  1. Thêm lịch trình

    Nhấp vào Add new Schedule. Một hộp thoại mở ra kèm ghi chú về credits.

  2. Chọn loại

    Trong Type, chọn nội dung cần thu thập (xem bảng bên dưới). Bạn không thể thay đổi loại sau khi lịch trình đã tồn tại.

  3. Chọn tần suất

    Trong Frequency, chọn Daily, Weekly, Monthly, Quarterly hoặc Yearly. Lịch trình mới mặc định là Daily.

  4. Nhập địa chỉ

    Nhập Domain or URL. Với thu thập theo sitemap, trường này là Sitemap URL. Với danh sách URL, hãy dán mỗi URL một dòng hoặc tải chúng từ một tệp.

  5. Lưu

    Nhấp vào Add new Schedule. Lần thu thập đầu tiên bắt đầu ngay, các lần sau diễn ra theo tần suất đã đặt.

Các loại lịch trình#

LoạiNội dung thu thập
Domain crawlToàn bộ một tên miền.
Single URL crawlMột trang.
Sitemap crawlCác URL được liệt kê trong một sitemap.
URL List crawlDanh sách do bạn cung cấp, tối đa 10.000 URL.
Youtube ChannelMột kênh YouTube.
XML Product FeedMột product feed ở định dạng XML.
Zendesk KB Sync, Product Fruits KB Sync, ClickUp KB SyncNội dung trung tâm trợ giúp hoặc tài liệu từ một tài khoản đã kết nối.

Các tính năng đồng bộ knowledge base cần tích hợp tương ứng và gói Pro trở lên. Workspace dùng thử chỉ có thể tạo lịch trình Single URL, Sitemap và URL List; các loại khác bị làm mờ hoặc bị từ chối.

Kiểm soát nội dung được lập chỉ mục#

Mở phần cài đặt nâng cao của một lịch trình để thu hẹp phạm vi thu thập.

  • Index just matching URLs: mỗi dòng một chuỗi. Một URL chỉ được thu thập nếu nó chứa một trong các chuỗi đó.
  • Skip matching URLs: mỗi dòng một chuỗi. Một URL chứa một trong các chuỗi đó sẽ không được thu thập.
  • Follow links (Process also URLs found in page): cũng thu thập các liên kết tìm thấy trên mỗi trang. Bạn phải điền Index just matching URLs khi bật tùy chọn này, nếu không sẽ lưu thất bại. Mọi URL được kiểm tra đều tính vào credits của bạn, kể cả những URL không khớp.
  • With Browser (extra credits): dùng trình duyệt thực. Chậm hơn và tốn kém hơn. Chỉ dùng cho các site tải toàn bộ nội dung bằng JavaScript.
  • Take screenshot (extra credits): lưu một ảnh chụp màn hình, hữu ích khi các trang không có og:image.
  • With Proxy Rotation (extra credits): đổi địa chỉ IP ở mỗi yêu cầu, dành cho các site có tường lửa chặn trình thu thập.
  • Custom Headers: mỗi dòng một NAME=value, được gửi kèm mọi yêu cầu. Bạn có thể cho phép các header này trong tường lửa của mình.

Đọc danh sách lịch trình#

Mỗi dòng hiển thị tên miền, tần suất, lần cập nhật gần nhất, trạng thái và số lượng URLs Scheduled cùng Failed URLs. Mở một lịch trình để xem các URL của nó. Từ đó bạn có thể mở chi tiết một URL hoặc xóa nó bằng Delete URL. Trong hộp xác nhận, hãy tích Skip this URL in future schedule runs để URL đó không bị thu thập lại nữa.

Các nút trên dòng cho phép bạn Run Schedule, Cancel running schedule và Show Error logs. Chọn nhiều dòng và dùng Run Selected để chạy chúng cùng lúc.

Credits#

Credits bị tiêu hao khi nội dung được thu thập. Nếu một lần thu thập theo lịch trình không phát hiện thay đổi nào, một nửa số credits vẫn bị tiêu hao.

Chỉ tìm kiếm trên một site

Trong bước Document Retriever, hãy chọn một hoặc nhiều lịch trình trong Schedules. Sau đó trình truy xuất chỉ tìm kiếm nội dung từ những lịch trình đó. Nếu không chọn lịch trình nào, nó sẽ tìm kiếm mọi thứ trong workspace.

Các bước tiếp theo#

Thêm câu trả lời chính xác cho những câu hỏi bạn quan tâm trong Questions and answers, hoặc đọc Integration disconnected nếu một tính năng đồng bộ knowledge base ngừng hoạt động.