Exploration de sites web

Une planification indique à FlowHunt quelles pages explorer et à quelle fréquence les explorer de nouveau. Les pages explorées sont indexées, ce qui permet à un retriever de les rechercher. Ouvrez Sources de connaissances → Planifications pour les gérer.

Créer une planification#

1. Ajouter la planification

   Cliquez sur Ajouter une nouvelle planification. Une boîte de dialogue s’ouvre avec une note sur les crédits.

2. Choisir le type

   Sous Type, choisissez ce qu’il faut explorer (voir le tableau ci-dessous). Vous ne pouvez pas modifier le type une fois la planification créée.

3. Choisir la fréquence

   Sous Fréquence, choisissez Quotidienne, Hebdomadaire, Mensuelle, Trimestrielle ou Annuelle. Par défaut, une nouvelle planification est Quotidienne.

4. Saisir l’adresse

   Saisissez le Domaine ou l’URL. Pour une exploration de sitemap, le champ est URL du sitemap. Pour une liste d’URL, collez une URL par ligne ou chargez-les depuis un fichier.

5. Enregistrer

   Cliquez sur Ajouter une nouvelle planification. La première exploration démarre immédiatement, et les explorations suivantes respectent la fréquence.

Types de planification#

Les synchronisations de base de connaissances nécessitent l’intégration correspondante et un forfait Pro ou supérieur. Les espaces de travail en période d’essai ne peuvent créer que des planifications URL unique, Sitemap et liste d’URL ; les autres types sont grisés ou refusés.

Contrôler ce qui est indexé#

Ouvrez les paramètres avancés d’une planification pour restreindre l’exploration.

• Indexer uniquement les URL correspondantes : une chaîne par ligne. Une URL n’est explorée que si elle contient l’une d’elles.
• Ignorer les URL correspondantes : une chaîne par ligne. Une URL qui contient l’une d’elles n’est pas explorée.
• Suivre les liens (Traiter aussi les URL trouvées dans la page) : explorer également les liens trouvés sur chaque page. Vous devez renseigner Indexer uniquement les URL correspondantes lorsque cette option est activée, sinon l’enregistrement échoue. Chaque URL vérifiée est décomptée de vos crédits, y compris celles qui ne correspondent pas.
• Avec navigateur (crédits supplémentaires) : utiliser un vrai navigateur. Plus lent et plus coûteux. À utiliser uniquement pour les sites qui chargent entièrement leur contenu en JavaScript.
• Prendre une capture d’écran (crédits supplémentaires) : stocker une capture d’écran, utile lorsque les pages n’ont pas d’og:image.
• Avec rotation de proxy (crédits supplémentaires) : changer d’adresse IP à chaque requête, pour les sites dont le pare-feu bloque le crawler.
• En-têtes personnalisés : un NAME=value par ligne, envoyé avec chaque requête. Vous pouvez autoriser ces en-têtes dans votre pare-feu.

Lire la liste des planifications#

Chaque ligne affiche le domaine, la fréquence, la dernière mise à jour, un statut et le nombre d’URL planifiées et d’URL en échec. Ouvrez une planification pour voir ses URL. À partir de là, vous pouvez ouvrir les détails d’une URL ou la supprimer avec Supprimer l’URL. Dans la confirmation, cochez Ignorer cette URL lors des prochaines exécutions pour éviter qu’elle ne soit explorée de nouveau.

Les boutons de ligne vous permettent d’Exécuter la planification, d’Annuler la planification en cours et d’Afficher les journaux d’erreurs. Sélectionnez plusieurs lignes et utilisez Exécuter la sélection pour les lancer ensemble.

Crédits#

Les crédits sont consommés lorsque le contenu est exploré. Si une exploration planifiée ne détecte aucun changement, la moitié des crédits est consommée.

Étapes suivantes#

Ajoutez des réponses exactes aux questions qui vous intéressent dans Questions et réponses, ou consultez Intégration déconnectée si une synchronisation de base de connaissances s’arrête.