Website-Crawling

Ein Zeitplan legt fest, welche Seiten FlowHunt crawlen soll und wie oft sie erneut gecrawlt werden. Gecrawlte Seiten werden indexiert, sodass ein Retriever sie durchsuchen kann. Öffnen Sie Wissensquellen → Zeitpläne, um sie zu verwalten.

Einen Zeitplan erstellen#

1. Zeitplan hinzufügen

   Klicken Sie auf Neuen Zeitplan hinzufügen. Ein Dialog mit einem Hinweis zu Credits öffnet sich.

2. Typ auswählen

   Wählen Sie unter Typ aus, was gecrawlt werden soll (siehe Tabelle unten). Der Typ kann nicht mehr geändert werden, sobald der Zeitplan existiert.

3. Häufigkeit auswählen

   Wählen Sie unter Häufigkeit Täglich, Wöchentlich, Monatlich, Vierteljährlich oder Jährlich. Ein neuer Zeitplan ist standardmäßig auf Täglich eingestellt.

4. Adresse eingeben

   Geben Sie die Domain oder URL ein. Bei einem Sitemap-Crawl heißt das Feld Sitemap-URL. Bei einer URL-Liste fügen Sie eine URL pro Zeile ein oder laden sie aus einer Datei.

5. Speichern

   Klicken Sie auf Neuen Zeitplan hinzufügen. Der erste Crawl startet sofort, spätere Crawls folgen der Häufigkeit.

Zeitplantypen#

Die Knowledge-Base-Syncs benötigen die passende Integration und einen Pro-Plan oder höher. Test-Workspaces können nur Einzel-URL-, Sitemap- und URL-Listen-Zeitpläne erstellen; andere Typen sind ausgegraut oder werden abgelehnt.

Steuern, was indexiert wird#

Öffnen Sie die erweiterten Einstellungen eines Zeitplans, um den Crawl einzuschränken.

• Nur passende URLs indexieren: eine Zeichenkette pro Zeile. Eine URL wird nur gecrawlt, wenn sie eine davon enthält.
• Passende URLs überspringen: eine Zeichenkette pro Zeile. Eine URL, die eine davon enthält, wird nicht gecrawlt.
• Links folgen (Process also URLs found in page): crawlt zusätzlich Links, die auf jeder Seite gefunden werden. Wenn dies aktiviert ist, müssen Sie Nur passende URLs indexieren ausfüllen, sonst schlägt das Speichern fehl. Jede geprüfte URL wird auf Ihre Credits angerechnet, auch solche, die nicht übereinstimmen.
• Mit Browser (zusätzliche Credits): verwendet einen echten Browser. Langsamer und teurer. Verwenden Sie es nur für Websites, die ihre Inhalte vollständig mit JavaScript laden.
• Screenshot erstellen (zusätzliche Credits): speichert einen Screenshot, nützlich, wenn Seiten kein og:image haben.
• Mit Proxy-Rotation (zusätzliche Credits): ändert die IP-Adresse bei jeder Anfrage, für Websites, deren Firewall den Crawler blockiert.
• Benutzerdefinierte Header: ein NAME=value pro Zeile, wird mit jeder Anfrage gesendet. Sie können diese Header in Ihrer Firewall zulassen.

Die Zeitplan-Liste lesen#

Jede Zeile zeigt die Domain, die Häufigkeit, die letzte Aktualisierung, einen Status sowie die Anzahl der geplanten URLs und der fehlgeschlagenen URLs. Öffnen Sie einen Zeitplan, um seine URLs zu sehen. Von dort aus können Sie die Details einer URL öffnen oder sie mit Delete URL entfernen. Setzen Sie in der Bestätigung ein Häkchen bei Diese URL bei künftigen Zeitplan-Läufen überspringen, damit sie nicht erneut gecrawlt wird.

Über die Schaltflächen in der Zeile können Sie Zeitplan ausführen, Laufenden Zeitplan abbrechen und Fehlerprotokolle anzeigen. Wählen Sie mehrere Zeilen aus und verwenden Sie Ausgewählte ausführen, um sie zusammen auszuführen.

Credits#

Credits werden verbraucht, wenn Inhalte gecrawlt werden. Wenn ein geplanter Crawl keine Änderungen findet, wird die Hälfte der Credits verbraucht.

Nächste Schritte#

Fügen Sie unter Fragen und Antworten exakte Antworten für die Fragen hinzu, die Ihnen wichtig sind, oder lesen Sie Integration disconnected, wenn ein Knowledge-Base-Sync stoppt.