Website-crawling

En tidsplan fortæller FlowHunt, hvilke sider der skal crawles, og hvor ofte de skal crawles igen. Crawlede sider indekseres, så en retriever kan søge i dem. Åbn Knowledge sources → Schedules for at administrere dem.

Opret en tidsplan#

1. Tilføj tidsplanen

   Klik på Add new Schedule. Der åbnes en dialogboks med en bemærkning om credits.

2. Vælg typen

   Under Type skal du vælge, hvad der skal crawles (se tabellen nedenfor). Du kan ikke ændre typen, når tidsplanen først er oprettet.

3. Vælg frekvensen

   Under Frequency skal du vælge Daily, Weekly, Monthly, Quarterly eller Yearly. En ny tidsplan er som standard Daily.

4. Indtast adressen

   Indtast Domain or URL. Ved en sitemap-crawling er feltet Sitemap URL. Ved en URL-liste skal du indsætte én URL pr. linje eller indlæse dem fra en fil.

5. Gem

   Klik på Add new Schedule. Den første crawling starter med det samme, og efterfølgende crawlinger følger frekvensen.

Typer af tidsplaner#

Synkroniseringerne af vidensbaser kræver den tilhørende integration og en Pro-plan eller højere. Prøvearbejdsområder kan kun oprette tidsplaner af typen Single URL, Sitemap og URL List; andre typer er nedtonede eller afvises.

Styr, hvad der indekseres#

Åbn de avancerede indstillinger for en tidsplan for at begrænse crawlingen.

• Index just matching URLs: én streng pr. linje. En URL crawles kun, hvis den indeholder en af dem.
• Skip matching URLs: én streng pr. linje. En URL, der indeholder en af dem, crawles ikke.
• Follow links (Process also URLs found in page): crawl også links, der findes på hver side. Du skal udfylde Index just matching URLs, når denne er slået til, ellers mislykkes lagringen. Hver URL, der tjekkes, tæller med i dine credits, også dem der ikke matcher.
• With Browser (extra credits): brug en rigtig browser. Langsommere og dyrere. Brug den kun til websteder, der indlæser hele deres indhold med JavaScript.
• Take screenshot (extra credits): gem et skærmbillede, nyttigt når sider ikke har nogen og:image.
• With Proxy Rotation (extra credits): skift IP-adresse ved hver anmodning, til websteder hvis firewall blokerer crawleren.
• Custom Headers: én NAME=value pr. linje, sendt med hver anmodning. Du kan tillade disse headers i din firewall.

Læs listen over tidsplaner#

Hver række viser domænet, frekvensen, seneste opdatering, en status og antal URLs Scheduled og Failed URLs. Åbn en tidsplan for at se dens URL’er. Derfra kan du åbne detaljerne for en URL eller fjerne den med Delete URL. I bekræftelsen skal du markere Skip this URL in future schedule runs for at forhindre, at den crawles igen.

Med knapperne på rækkerne kan du Run Schedule, Cancel running schedule og Show Error logs. Vælg flere rækker, og brug Run Selected til at køre dem samlet.

Credits#

Credits forbruges, når indhold crawles. Hvis en planlagt crawling ikke finder ændringer, forbruges halvdelen af credits.

Næste trin#

Tilføj præcise svar på de spørgsmål, du interesserer dig for, i Questions and answers, eller læs Integration disconnected, hvis en synkronisering af en vidensbase stopper.