자동화된 웹사이트 크롤링 일정 예약하기
웹사이트, 사이트맵, 도메인, YouTube 채널의 자동화된 크롤링 일정을 설정하여 AI 에이전트 지식 베이스를 항상 최신 상태로 유지하는 방법을 알아보세요....
5 분 읽기
Schedules
Crawling
+3
스케줄 추가 방법
- 스케줄 화면으로 이동하여 ‘스케줄 추가’를 클릭하세요:
- 팝업 창이 나타납니다:
크롤링 유형을 선택하세요:
- 도메인 크롤링 – 전체 도메인을 순회하며 모든 페이지에서 학습합니다.
- 단일 URL 크롤링 – 매일 크롤링이 필요한 페이지나 외부 소스를 통제된 방식으로 추가할 때 적합합니다.
- 사이트맵 크롤링 – 페이지, 연결된 미디어, 파일 정보를 학습하여 사이트를 더 잘 이해하고 효율적으로 크롤링합니다.
- YouTube 채널 – YouTube 동영상의 자막을 색인화합니다.
FlowHunt는 동영상 자막을 활용해 YouTube 영상의 콘텐츠를 색인화합니다. 단, YouTube의 자동 생성 자막은 항상 정확하지 않을 수 있습니다. 챗봇이 올바른 정보를 갖추길 원한다면, 직접 자막을 작성하거나 최소한 자동 생성 자막을 확인하실 것을 권장합니다.
YouTube의 자동 생성 자막은 항상 정확하지 않을 수 있습니다. 챗봇이 올바른 정보를 갖추도록 자동 생성 자막을 확인하거나 직접 자막을 작성해 주세요.
주기를 선택하세요 – 스케줄이 반복되는 빈도:
- 매일
- 매주
- 매월
- 매년
크롤링 시에는 크레딧이 소모되며, 대규모 스케줄일수록 비용이 높아질 수 있습니다. 주기를 선택할 때 데이터 업데이트 빈도와 최신 정보가 플로우에 얼마나 중요한지 고려하세요. 전체 도메인을 매일 크롤링할 필요는 없지만, 자주 변경되는 URL은 매일 크롤링이 도움이 될 수 있습니다.
URL을 입력하세요. 크롤링 유형에 따라 다음과 같은 URL 구조를 사용해야 합니다:
- 도메인 크롤링:
https://www.example.com - 단일 URL 크롤링:
https://www.example.com/blog/article1 - 사이트맵 크롤링:
https://www.example.com/page-sitemap.xml
- 도메인 크롤링:
‘새 스케줄 추가’를 클릭하세요.
스케줄 관리하기
스케줄이 생성되면 대기 중으로 표시됩니다. 진행 상황을 확인하려면 페이지를 새로고침하세요:
크롤링은 보통 몇 분 내로 완료됩니다. 이 예시에서는 단일 URL 크롤링으로 5초 이내에 끝납니다. 스케줄에 오류가 발생했다면 빨간색 ‘오류’ 상태 태그 위에 마우스를 올려 더 자세한 정보를 확인하세요.
스케줄은 언제든지 수정하거나 삭제할 수 있습니다. 완료된 후에는 다음 예약 시간까지 기다릴 필요가 없습니다. 필요하다면 상태 태그 옆의 반복 아이콘을 클릭해 스케줄을 수동으로 다시 실행할 수 있습니다:
크롤링된 URL을 쉽게 확인하여 필요한 모든 정보가 수집되었는지 점검할 수 있습니다. **‘발견된 URL 보기’**를 클릭하면 해당 스케줄에서 크롤링된 모든 URL 목록이 표시됩니다. 특정 URL을 더 자세히 보려면 **‘상세 보기’**를 클릭하세요:
더 깊이 확인하려면 URL의 상세 화면에서 **‘URL 트리 보기’**를 클릭하세요. 그러면 페이지의 헤드라인별 구조를 볼 수 있습니다. 헤드라인을 클릭하면 해당 내용을 확인할 수 있습니다:
