Rastreo de sitios web

Una programación le indica a FlowHunt qué páginas rastrear y con qué frecuencia rastrearlas de nuevo. Las páginas rastreadas se indexan, de modo que un recuperador puede buscarlas. Abre Fuentes de conocimiento → Programaciones para gestionarlas.

Crear una programación#

1. Añade la programación

   Haz clic en Add new Schedule. Se abre un diálogo con una nota sobre los créditos.

2. Elige el tipo

   En Type, elige qué rastrear (consulta la tabla a continuación). No puedes cambiar el tipo una vez que la programación existe.

3. Elige la frecuencia

   En Frequency, elige Daily, Weekly, Monthly, Quarterly o Yearly. Una programación nueva usa Daily de forma predeterminada.

4. Introduce la dirección

   Introduce el Domain or URL. Para un rastreo de sitemap el campo es Sitemap URL. Para una lista de URLs, pega una URL por línea o cárgalas desde un archivo.

5. Guarda

   Haz clic en Add new Schedule. El primer rastreo comienza de inmediato, y los rastreos posteriores siguen la frecuencia.

Tipos de programación#

Las sincronizaciones de la base de conocimiento necesitan la integración correspondiente y un plan Pro o superior. Los espacios de trabajo de prueba solo pueden crear programaciones de Single URL, Sitemap y URL List; los demás tipos aparecen atenuados o se rechazan.

Controla qué se indexa#

Abre la configuración avanzada de una programación para acotar el rastreo.

• Index just matching URLs: una cadena por línea. Una URL solo se rastrea si contiene una de ellas.
• Skip matching URLs: una cadena por línea. Una URL que contiene una de ellas no se rastrea.
• Follow links (Process also URLs found in page): también rastrea los enlaces encontrados en cada página. Debes rellenar Index just matching URLs cuando esta opción está activada; de lo contrario, guardar falla. Cada URL comprobada cuenta para tus créditos, incluidas las que no coinciden.
• With Browser (extra credits): usa un navegador real. Más lento y más caro. Úsalo solo para sitios que cargan todo su contenido con JavaScript.
• Take screenshot (extra credits): almacena una captura de pantalla, útil cuando las páginas no tienen og:image.
• With Proxy Rotation (extra credits): cambia la dirección IP con cada solicitud, para sitios cuyo cortafuegos bloquea al rastreador.
• Custom Headers: una NAME=value por línea, enviada con cada solicitud. Puedes permitir estos encabezados en tu cortafuegos.

Lee la lista de programaciones#

Cada fila muestra el dominio, la frecuencia, la última actualización, un estado y los recuentos de URLs Scheduled y Failed URLs. Abre una programación para ver sus URLs. Desde ahí puedes abrir los detalles de una URL o eliminarla con Delete URL. En la confirmación, marca Skip this URL in future schedule runs para evitar que se rastree de nuevo.

Los botones de fila te permiten Run Schedule, Cancel running schedule y Show Error logs. Selecciona varias filas y usa Run Selected para ejecutarlas juntas.

Créditos#

Los créditos se consumen cuando se rastrea contenido. Si un rastreo programado no encuentra cambios, se consume la mitad de los créditos.

Próximos pasos#

Añade respuestas exactas para las preguntas que te interesan en Preguntas y respuestas, o lee Integración desconectada si una sincronización de la base de conocimiento se detiene.