웹사이트 크롤링

일정(Schedule)은 FlowHunt에게 어떤 페이지를 크롤링할지, 그리고 얼마나 자주 다시 크롤링할지를 알려줍니다. 크롤링된 페이지는 인덱싱되므로 리트리버가 검색할 수 있습니다. 지식 소스 → 일정을 열어 관리하세요.

일정 만들기#

1. 일정 추가

   새 일정 추가를 클릭합니다. 크레딧에 대한 안내가 있는 대화상자가 열립니다.

2. 유형 선택

   유형에서 크롤링할 대상을 선택합니다(아래 표 참조). 일정이 만들어진 후에는 유형을 변경할 수 없습니다.

3. 빈도 선택

   빈도에서 매일, 매주, 매월, 분기별 또는 매년을 선택합니다. 새 일정의 기본값은 매일입니다.

4. 주소 입력

   도메인 또는 URL을 입력합니다. 사이트맵 크롤링의 경우 필드는 사이트맵 URL입니다. URL 목록의 경우 한 줄에 URL 하나씩 붙여넣거나 파일에서 불러옵니다.

5. 저장

   새 일정 추가를 클릭합니다. 첫 크롤링이 곧바로 시작되고, 이후 크롤링은 지정한 빈도를 따릅니다.

일정 유형#

지식 베이스 동기화에는 그에 맞는 통합과 Pro 요금제 이상이 필요합니다. 체험 워크스페이스에서는 단일 URL, 사이트맵, URL 목록 일정만 만들 수 있으며, 다른 유형은 비활성화되거나 거부됩니다.

인덱싱할 대상 제어#

일정의 고급 설정을 열어 크롤링 범위를 좁힐 수 있습니다.

• 일치하는 URL만 인덱싱: 한 줄에 문자열 하나씩. 해당 문자열 중 하나를 포함하는 URL만 크롤링됩니다.
• 일치하는 URL 건너뛰기: 한 줄에 문자열 하나씩. 해당 문자열 중 하나를 포함하는 URL은 크롤링되지 않습니다.
• 링크 따라가기(페이지에서 발견된 URL도 처리): 각 페이지에서 발견된 링크도 크롤링합니다. 이 옵션이 켜져 있으면 일치하는 URL만 인덱싱을 반드시 입력해야 하며, 그렇지 않으면 저장에 실패합니다. 확인되는 모든 URL은 일치하지 않는 URL을 포함해 크레딧에서 차감됩니다.
• 브라우저 사용(추가 크레딧): 실제 브라우저를 사용합니다. 더 느리고 비용이 더 많이 듭니다. 콘텐츠 전체를 JavaScript로 불러오는 사이트에만 사용하세요.
• 스크린샷 캡처(추가 크레딧): 스크린샷을 저장합니다. 페이지에 og:image가 없을 때 유용합니다.
• 프록시 로테이션 사용(추가 크레딧): 요청마다 IP 주소를 변경합니다. 방화벽이 크롤러를 차단하는 사이트에 사용하세요.
• 사용자 지정 헤더: 한 줄에 NAME=value 하나씩, 모든 요청과 함께 전송됩니다. 방화벽에서 이러한 헤더를 허용할 수 있습니다.

일정 목록 읽기#

각 행에는 도메인, 빈도, 마지막 업데이트, 상태, 그리고 예약된 URL과 실패한 URL 개수가 표시됩니다. 일정을 열면 해당 URL을 볼 수 있습니다. 여기에서 URL의 세부 정보를 열거나 URL 삭제로 제거할 수 있습니다. 확인 창에서 향후 일정 실행에서 이 URL 건너뛰기를 체크하면 해당 URL이 다시 크롤링되지 않습니다.

행 버튼을 사용하면 일정 실행, 실행 중인 일정 취소, 오류 로그 표시를 할 수 있습니다. 여러 행을 선택하고 선택 항목 실행으로 함께 실행하세요.

크레딧#

크레딧은 콘텐츠를 크롤링할 때 소모됩니다. 예약된 크롤링에서 변경 사항이 발견되지 않으면 크레딧의 절반이 소모됩니다.

다음 단계#

관심 있는 질문에 대한 정확한 답변을 질문과 답변에 추가하거나, 지식 베이스 동기화가 중단된 경우 통합 연결 끊김을 읽어보세요.