스케줄

스케줄 추가 방법

1. 스케줄 화면으로 이동하여 ‘스케줄 추가’를 클릭하세요:

2. 팝업 창이 나타납니다:

3. 크롤링 유형을 선택하세요:

   • 도메인 크롤링 – 전체 도메인을 순회하며 모든 페이지에서 학습합니다.
   • 단일 URL 크롤링 – 매일 크롤링이 필요한 페이지나 외부 소스를 통제된 방식으로 추가할 때 적합합니다.
   • 사이트맵 크롤링 – 페이지, 연결된 미디어, 파일 정보를 학습하여 사이트를 더 잘 이해하고 효율적으로 크롤링합니다.
   • YouTube 채널 – YouTube 동영상의 자막을 색인화합니다.

   FlowHunt는 동영상 자막을 활용해 YouTube 영상의 콘텐츠를 색인화합니다. 단, YouTube의 자동 생성 자막은 항상 정확하지 않을 수 있습니다. 챗봇이 올바른 정보를 갖추길 원한다면, 직접 자막을 작성하거나 최소한 자동 생성 자막을 확인하실 것을 권장합니다.

   YouTube의 자동 생성 자막은 항상 정확하지 않을 수 있습니다. 챗봇이 올바른 정보를 갖추도록 자동 생성 자막을 확인하거나 직접 자막을 작성해 주세요.

4. 주기를 선택하세요 – 스케줄이 반복되는 빈도:

   • 매일
   • 매주
   • 매월
   • 매년

   크롤링 시에는 크레딧이 소모되며, 대규모 스케줄일수록 비용이 높아질 수 있습니다. 주기를 선택할 때 데이터 업데이트 빈도와 최신 정보가 플로우에 얼마나 중요한지 고려하세요. 전체 도메인을 매일 크롤링할 필요는 없지만, 자주 변경되는 URL은 매일 크롤링이 도움이 될 수 있습니다.

5. URL을 입력하세요. 크롤링 유형에 따라 다음과 같은 URL 구조를 사용해야 합니다:

   • 도메인 크롤링: https://www.example.com
   • 단일 URL 크롤링: https://www.example.com/blog/article1
   • 사이트맵 크롤링: https://www.example.com/page-sitemap.xml

6. ‘새 스케줄 추가’를 클릭하세요.

스케줄 관리하기

스케줄이 생성되면 대기 중으로 표시됩니다. 진행 상황을 확인하려면 페이지를 새로고침하세요:

크롤링은 보통 몇 분 내로 완료됩니다. 이 예시에서는 단일 URL 크롤링으로 5초 이내에 끝납니다. 스케줄에 오류가 발생했다면 빨간색 ‘오류’ 상태 태그 위에 마우스를 올려 더 자세한 정보를 확인하세요.

스케줄은 언제든지 수정하거나 삭제할 수 있습니다. 완료된 후에는 다음 예약 시간까지 기다릴 필요가 없습니다. 필요하다면 상태 태그 옆의 반복 아이콘을 클릭해 스케줄을 수동으로 다시 실행할 수 있습니다:

크롤링된 URL을 쉽게 확인하여 필요한 모든 정보가 수집되었는지 점검할 수 있습니다. **‘발견된 URL 보기’**를 클릭하면 해당 스케줄에서 크롤링된 모든 URL 목록이 표시됩니다. 특정 URL을 더 자세히 보려면 **‘상세 보기’**를 클릭하세요:

더 깊이 확인하려면 URL의 상세 화면에서 **‘URL 트리 보기’**를 클릭하세요. 그러면 페이지의 헤드라인별 구조를 볼 수 있습니다. 헤드라인을 클릭하면 해당 내용을 확인할 수 있습니다: