Nettsidecrawling

En tidsplan forteller FlowHunt hvilke sider som skal crawles, og hvor ofte de skal crawles på nytt. Sider som crawles, indekseres, slik at en retriever kan søke i dem. Åpne Knowledge sources → Schedules for å administrere dem.

Opprett en tidsplan#

1. Legg til tidsplanen

   Klikk på Add new Schedule. En dialog åpnes med en merknad om kreditter.

2. Velg typen

   Under Type velger du hva som skal crawles (se tabellen nedenfor). Du kan ikke endre typen når tidsplanen først er opprettet.

3. Velg frekvensen

   Under Frequency velger du Daily, Weekly, Monthly, Quarterly eller Yearly. En ny tidsplan er satt til Daily som standard.

4. Angi adressen

   Angi Domain or URL. For en sitemap-crawl heter feltet Sitemap URL. For en URL-liste limer du inn én URL per linje eller laster dem inn fra en fil.

5. Lagre

   Klikk på Add new Schedule. Den første crawlingen starter med en gang, og senere crawlinger følger frekvensen.

Typer av tidsplaner#

Synkroniseringene for kunnskapsbaser krever den tilhørende integrasjonen og en Pro-plan eller høyere. Prøvearbeidsområder kan bare opprette tidsplaner av typene Single URL, Sitemap og URL List; andre typer er nedtonet eller avvises.

Kontroller hva som indekseres#

Åpne de avanserte innstillingene for en tidsplan for å begrense crawlingen.

• Index just matching URLs: én streng per linje. En URL crawles bare hvis den inneholder én av dem.
• Skip matching URLs: én streng per linje. En URL som inneholder én av dem, crawles ikke.
• Follow links (Process also URLs found in page): crawler også lenker som finnes på hver side. Du må fylle ut Index just matching URLs når dette er slått på, ellers mislykkes lagringen. Hver URL som sjekkes, teller mot kredittene dine, også de som ikke samsvarer.
• With Browser (extra credits): bruk en ekte nettleser. Tregere og dyrere. Bruk det bare for nettsteder som laster alt innholdet sitt med JavaScript.
• Take screenshot (extra credits): lagre et skjermbilde, nyttig når sidene ikke har noe og:image.
• With Proxy Rotation (extra credits): bytt IP-adresse for hver forespørsel, for nettsteder der brannmuren blokkerer crawleren.
• Custom Headers: én NAME=value per linje, sendt med hver forespørsel. Du kan tillate disse headerne i brannmuren din.

Les tidsplanlisten#

Hver rad viser domenet, frekvensen, siste oppdatering, en status og antall URLs Scheduled og Failed URLs. Åpne en tidsplan for å se URL-ene dens. Derfra kan du åpne detaljene for en URL eller fjerne den med Delete URL. I bekreftelsen merker du av for Skip this URL in future schedule runs for å hindre at den crawles igjen.

Radknappene lar deg Run Schedule, Cancel running schedule og Show Error logs. Velg flere rader og bruk Run Selected for å kjøre dem sammen.

Kreditter#

Kreditter forbrukes når innhold crawles. Hvis en planlagt crawl ikke finner endringer, forbrukes halvparten av kredittene.

Neste steg#

Legg til nøyaktige svar på spørsmålene du bryr deg om, i Questions and answers, eller les Integration disconnected hvis en synkronisering av kunnskapsbasen stopper.