Crawling di siti web

Una pianificazione indica a FlowHunt quali pagine scansionare e con quale frequenza scansionarle di nuovo. Le pagine scansionate vengono indicizzate, così un retriever può cercarle. Apri Sorgenti di conoscenza → Pianificazioni per gestirle.

Creare una pianificazione#

1. Aggiungi la pianificazione

   Fai clic su Aggiungi nuova pianificazione. Si apre una finestra di dialogo con una nota sui crediti.

2. Scegli il tipo

   Sotto Tipo, scegli cosa scansionare (vedi la tabella seguente). Non puoi cambiare il tipo una volta che la pianificazione esiste.

3. Scegli la frequenza

   Sotto Frequenza, scegli Giornaliera, Settimanale, Mensile, Trimestrale o Annuale. Una nuova pianificazione usa Giornaliera come impostazione predefinita.

4. Inserisci l’indirizzo

   Inserisci il Dominio o URL. Per un crawling di sitemap il campo è URL della sitemap. Per un elenco di URL, incolla un URL per riga o caricali da un file.

5. Salva

   Fai clic su Aggiungi nuova pianificazione. Il primo crawling parte subito, mentre i crawling successivi seguono la frequenza.

Tipi di pianificazione#

Le sincronizzazioni della knowledge base richiedono la corrispondente integrazione e un piano Pro o superiore. Le aree di lavoro di prova possono creare solo pianificazioni di tipo Single URL, Sitemap e URL List; gli altri tipi sono disattivati o rifiutati.

Controllare cosa viene indicizzato#

Apri le impostazioni avanzate di una pianificazione per limitare il crawling.

• Indicizza solo gli URL corrispondenti: una stringa per riga. Un URL viene scansionato solo se contiene una di esse.
• Salta gli URL corrispondenti: una stringa per riga. Un URL che contiene una di esse non viene scansionato.
• Segui i link (Elabora anche gli URL trovati nella pagina): scansiona anche i link trovati in ogni pagina. Quando questa opzione è attiva, devi compilare Indicizza solo gli URL corrispondenti, altrimenti il salvataggio non riesce. Ogni URL verificato consuma crediti, compresi quelli che non corrispondono.
• Con Browser (crediti extra): usa un browser reale. Più lento e più costoso. Usalo solo per i siti che caricano i propri contenuti interamente con JavaScript.
• Acquisisci screenshot (crediti extra): memorizza uno screenshot, utile quando le pagine non hanno og:image.
• Con rotazione proxy (crediti extra): cambia l’indirizzo IP a ogni richiesta, per i siti il cui firewall blocca il crawler.
• Intestazioni personalizzate: una NAME=value per riga, inviata con ogni richiesta. Puoi consentire queste intestazioni nel tuo firewall.

Leggere l’elenco delle pianificazioni#

Ogni riga mostra il dominio, la frequenza, l’ultimo aggiornamento, uno stato e i conteggi di URL pianificati e URL non riusciti. Apri una pianificazione per vedere i suoi URL. Da lì puoi aprire i dettagli di un URL o rimuoverlo con Elimina URL. Nella conferma, seleziona Salta questo URL nelle future esecuzioni pianificate per evitare che venga scansionato di nuovo.

I pulsanti di riga ti permettono di Esegui pianificazione, Annulla pianificazione in esecuzione e Mostra registri errori. Seleziona più righe e usa Esegui selezionate per eseguirle insieme.

Crediti#

I crediti vengono consumati quando il contenuto viene scansionato. Se un crawling pianificato non trova modifiche, viene consumata la metà dei crediti.

Passaggi successivi#

Aggiungi risposte esatte per le domande che ti interessano in Domande e risposte, oppure leggi Integrazione disconnessa se una sincronizzazione della knowledge base si interrompe.