Crawlarea site-urilor web

O programare îi spune FlowHunt ce pagini să crawleze și cât de des să le crawleze din nou. Paginile crawlate sunt indexate, astfel încât un retriever le poate căuta. Deschide Surse de cunoștințe → Programări pentru a le gestiona.

Creează o programare#

1. Adaugă programarea

   Fă clic pe Adaugă programare nouă. Se deschide o casetă de dialog cu o notă despre credite.

2. Alege tipul

   Sub Tip, alege ce să crawlezi (vezi tabelul de mai jos). Nu poți schimba tipul după ce programarea a fost creată.

3. Alege frecvența

   Sub Frecvență, alege Zilnic, Săptămânal, Lunar, Trimestrial sau Anual. O programare nouă folosește implicit Zilnic.

4. Introdu adresa

   Introdu Domeniul sau URL-ul. Pentru un crawl de sitemap, câmpul este URL sitemap. Pentru o listă de URL-uri, lipește câte un URL pe linie sau încarcă-le dintr-un fișier.

5. Salvează

   Fă clic pe Adaugă programare nouă. Primul crawl începe imediat, iar crawl-urile ulterioare respectă frecvența.

Tipuri de programări#

Sincronizările bazei de cunoștințe necesită integrarea corespunzătoare și un plan Pro sau superior. Spațiile de lucru de tip trial pot crea doar programări de tip Crawl de un singur URL, Crawl de sitemap și Crawl de listă de URL-uri; celelalte tipuri sunt estompate sau refuzate.

Controlează ce se indexează#

Deschide setările avansate ale unei programări pentru a restrânge crawl-ul.

• Indexează doar URL-urile care se potrivesc: un șir pe linie. Un URL este crawlat doar dacă îl conține pe unul dintre ele.
• Omite URL-urile care se potrivesc: un șir pe linie. Un URL care îl conține pe unul dintre ele nu este crawlat.
• Urmărește linkurile (Procesează și URL-urile găsite în pagină): crawlează și linkurile găsite pe fiecare pagină. Când această opțiune este activă, trebuie să completezi Indexează doar URL-urile care se potrivesc, altfel salvarea eșuează. Fiecare URL verificat consumă din creditele tale, inclusiv cele care nu se potrivesc.
• Cu browser (credite suplimentare): folosește un browser real. Mai lent și mai costisitor. Folosește-l doar pentru site-urile care își încarcă tot conținutul cu JavaScript.
• Fă o captură de ecran (credite suplimentare): stochează o captură de ecran, utilă când paginile nu au og:image.
• Cu rotația proxy-urilor (credite suplimentare): schimbă adresa IP la fiecare cerere, pentru site-urile al căror firewall blochează crawlerul.
• Antete personalizate: un NAME=value pe linie, trimis la fiecare cerere. Poți permite aceste antete în firewall.

Cum citești lista de programări#

Fiecare rând afișează domeniul, frecvența, ultima actualizare, o stare și numărul de URL-uri programate și URL-uri eșuate. Deschide o programare pentru a-i vedea URL-urile. De acolo poți deschide detaliile unui URL sau îl poți elimina cu Șterge URL. În confirmare, bifează Omite acest URL la rulările viitoare ale programării pentru a împiedica crawlarea lui din nou.

Butoanele de pe rând îți permit să Rulezi programarea, să Anulezi programarea în curs și să Afișezi jurnalele de erori. Selectează mai multe rânduri și folosește Rulează selecția pentru a le rula împreună.

Credite#

Creditele sunt consumate când conținutul este crawlat. Dacă un crawl programat nu găsește nicio modificare, se consumă jumătate din credite.

Pașii următori#

Adaugă răspunsuri exacte pentru întrebările care te interesează în Întrebări și răspunsuri, sau citește Integrare deconectată dacă o sincronizare a bazei de cunoștințe se oprește.