Websites crawlen

Een planning vertelt FlowHunt welke pagina’s gecrawld moeten worden en hoe vaak ze opnieuw gecrawld moeten worden. Gecrawlde pagina’s worden geïndexeerd, zodat een retriever ze kan doorzoeken. Open Kennisbronnen → Planningen om ze te beheren.

Een planning aanmaken#

1. De planning toevoegen

   Klik op Nieuwe planning toevoegen. Er verschijnt een dialoogvenster met een opmerking over credits.

2. Kies het type

   Kies onder Type wat er gecrawld moet worden (zie de tabel hieronder). Je kunt het type niet meer wijzigen zodra de planning bestaat.

3. Kies de frequentie

   Kies onder Frequentie voor Dagelijks, Wekelijks, Maandelijks, Per kwartaal of Jaarlijks. Een nieuwe planning staat standaard op Dagelijks.

4. Voer het adres in

   Voer het Domein of URL in. Voor een sitemapcrawl is het veld Sitemap-URL. Plak voor een URL-lijst één URL per regel of laad ze uit een bestand.

5. Opslaan

   Klik op Nieuwe planning toevoegen. De eerste crawl start meteen en latere crawls volgen de frequentie.

Typen planningen#

De kennisbanksynchronisaties hebben de bijbehorende integratie nodig en een Pro-abonnement of hoger. Proefwerkruimtes kunnen alleen planningen van het type Eén URL, Sitemap en URL-lijst aanmaken; andere typen zijn grijs weergegeven of worden geweigerd.

Bepaal wat wordt geïndexeerd#

Open de geavanceerde instellingen van een planning om de crawl te beperken.

• Alleen overeenkomende URL’s indexeren: één tekenreeks per regel. Een URL wordt alleen gecrawld als deze een van deze tekenreeksen bevat.
• Overeenkomende URL’s overslaan: één tekenreeks per regel. Een URL die een van deze tekenreeksen bevat, wordt niet gecrawld.
• Links volgen (Ook URL’s verwerken die op de pagina gevonden worden): crawl ook links die op elke pagina gevonden worden. Je moet Alleen overeenkomende URL’s indexeren invullen wanneer dit aan staat, anders mislukt het opslaan. Elke gecontroleerde URL verbruikt credits, ook URL’s die niet overeenkomen.
• Met browser (extra credits): gebruik een echte browser. Langzamer en duurder. Gebruik dit alleen voor sites die hun content volledig met JavaScript laden.
• Schermafbeelding maken (extra credits): sla een schermafbeelding op, handig wanneer pagina’s geen og:image hebben.
• Met proxyrotatie (extra credits): wissel het IP-adres bij elk verzoek, voor sites waarvan de firewall de crawler blokkeert.
• Aangepaste headers: één NAME=value per regel, meegestuurd met elk verzoek. Je kunt deze headers in je firewall toestaan.

De planningslijst lezen#

Elke rij toont het domein, de frequentie, de laatste update, een status en het aantal URL’s ingepland en Mislukte URL’s. Open een planning om de bijbehorende URL’s te zien. Van daaruit kun je de details van een URL openen of deze verwijderen met URL verwijderen. Vink in de bevestiging Deze URL overslaan bij toekomstige uitvoeringen van de planning aan om te voorkomen dat deze opnieuw wordt gecrawld.

Met de knoppen bij een rij kun je Planning uitvoeren, Lopende planning annuleren en Foutlogboeken tonen. Selecteer meerdere rijen en gebruik Geselecteerde uitvoeren om ze samen uit te voeren.

Credits#

Credits worden verbruikt wanneer content wordt gecrawld. Als een geplande crawl geen wijzigingen vindt, wordt de helft van de credits verbruikt.

Volgende stappen#

Voeg exacte antwoorden toe voor de vragen die je belangrijk vindt in Vragen en antwoorden, of lees Integratie losgekoppeld als een kennisbanksynchronisatie stopt.