Plánování automatizovaných procházek webů

Funkce Plánování ve FlowHunt vám umožňuje automatizovat procházení a indexaci webových stránek, sitemap, domén a YouTube kanálů. Díky tomu zůstává znalostní báze vašeho AI Agenta stále aktuální s novým obsahem bez nutnosti ručního zásahu.

Jak plánování funguje

Automatizované procházení:
Nastavte opakované procházení, které poběží denně, týdně, měsíčně nebo ročně a udrží vaši znalostní bázi aktuální.
Různé typy procházení:
Vyberte si z procházení domény, sitemap, konkrétního URL nebo YouTube kanálu podle zdroje vašeho obsahu.
Pokročilé možnosti:
Nastavte vykreslování v prohlížeči, sledování odkazů, pořizování snímků obrazovky, rotaci proxy a filtrování URL pro co nejlepší výsledky.

Možnosti konfigurace plánování

Základní nastavení

Typ: Vyberte metodu procházení:

Procházení domény: Systematicky prochází celou doménu
Procházení sitemap: Používá soubor sitemap.xml pro efektivní procházení
Procházení URL: Zaměří se na konkrétní URL nebo stránky
Procházení YouTube kanálu: Indexuje videoobsah z YouTube kanálů

Frekvence: Nastavte, jak často se bude procházení spouštět:

Denně, Týdně, Měsíčně nebo Ročně

URL: Zadejte cílovou adresu URL, doménu nebo YouTube kanál k procházení

Pokročilé možnosti procházení

S prohlížečem (za příplatek): Povolte při procházení webů s těžkým využitím JavaScriptu, které vyžadují plné vykreslení v prohlížeči. Tato možnost je pomalejší a dražší, ale nezbytná pro weby, které načítají obsah dynamicky.

Sledovat odkazy (za příplatek): Zpracovává další URL nalezené na stránkách. Užitečné, když sitemap neobsahuje všechny URL, ale může spotřebovat více kreditů, protože prochází objevené odkazy.

Pořídit snímek obrazovky (za příplatek): Pořizuje vizuální snímky během procházení. Pomáhá u webů bez og:images nebo tam, kde je třeba vizuální kontext pro AI zpracování.

S rotací proxy (za příplatek): Rotuje IP adresy při každém požadavku, aby se zabránilo detekci Web Application Firewally (WAF) nebo anti-bot systémy.

Filtrování URL

Přeskočit odpovídající URL: Zadejte řetězce (každý na jeden řádek) pro vyloučení URL obsahujících tyto vzory z procházení. Příklad:

/admin/
/login
.pdf

Příklad: Procházení flowhunt.io s /blog vyloučeným

Tento příklad vysvětluje, co se stane, když použijete funkci Plánování ve FlowHunt k procházení domény flowhunt.io a nastavíte /blog jako odpovídající URL k přeskočení v nastavení filtrování URL.

Nastavení konfigurace

Typ: Procházení domény
URL: flowhunt.io
Frekvence: Týdně
Filtrování URL (Přeskočit odpovídající URL): /blog
Ostatní nastavení: Výchozí (bez vykreslování v prohlížeči, bez sledování odkazů, bez snímků obrazovky, bez rotace proxy)

Co se stane

Zahájení procházení:
- FlowHunt spustí procházení domény flowhunt.io a zaměří se na všechny dostupné stránky na doméně (např. flowhunt.io, flowhunt.io/features, flowhunt.io/pricing atd.).
Aplikace filtrování URL:
- Prohledávač vyhodnocuje každé objevené URL podle vzoru pro přeskočení /blog.
- Každá URL obsahující /blog (např. flowhunt.io/blog, flowhunt.io/blog/post1, flowhunt.io/blog/category) je z procházení vyloučena.
- Ostatní URL, jako flowhunt.io/about, flowhunt.io/contact nebo flowhunt.io/docs jsou procházeny, protože neodpovídají vzoru /blog.
Provedení procházení:
- Prohledávač systematicky zpracuje zbývající URL na flowhunt.io a indexuje jejich obsah pro znalostní bázi vašeho AI Agenta.
- Protože vykreslování v prohlížeči, sledování odkazů, snímky obrazovky a rotace proxy jsou vypnuté, procházení je nenáročné a zaměřuje se pouze na statický obsah z nezakázaných URL.
Výsledek:
- Znalostní báze vašeho AI Agenta je aktualizována o nový obsah z flowhunt.io, s výjimkou všeho pod cestou /blog.
- Procházení běží týdně a zajišťuje, že znalostní báze zůstává aktuální s novými nebo aktualizovanými stránkami (mimo /blog) bez nutnosti ručního zásahu.

Indexovat pouze odpovídající URL: Zadejte řetězce (každý na jeden řádek), abyste procházeli pouze URL obsahující tyto vzory. Příklad:

/blog/
/articles/
/knowledge/

Příklad zahrnutí odpovídajících URL

Nastavení konfigurace

Typ: Procházení domény
URL: flowhunt.io
Frekvence: Týdně
Filtrování URL (Indexovat pouze odpovídající URL):
```
/blog/
/articles/
/knowledge/
```
Ostatní nastavení: Výchozí (bez vykreslování v prohlížeči, bez sledování odkazů, bez snímků obrazovky, bez rotace proxy)

Zahájení procházení:
- FlowHunt spustí procházení domény flowhunt.io a zaměří se na všechny dostupné stránky na doméně (např. flowhunt.io, flowhunt.io/blog, flowhunt.io/articles atd.).
Aplikace filtrování URL:
- Prohledávač vyhodnocuje každé objevené URL podle vzorů pro indexaci /blog/, /articles/ a /knowledge/.
- Pouze URL obsahující tyto vzory (např. flowhunt.io/blog/post1, flowhunt.io/articles/news, flowhunt.io/knowledge/guide) jsou do procházení zařazeny.
- Ostatní URL, jako flowhunt.io/about, flowhunt.io/pricing nebo flowhunt.io/contact, jsou vyloučeny, protože neodpovídají zadaným vzorům.
Provedení procházení:
- Prohledávač zpracuje pouze URL odpovídající /blog/, /articles/ nebo /knowledge/ a indexuje jejich obsah pro znalostní bázi vašeho AI Agenta.
- Protože vykreslování v prohlížeči, sledování odkazů, snímky obrazovky a rotace proxy jsou vypnuté, procházení je nenáročné a zaměřuje se pouze na statický obsah z vybraných URL.
Výsledek:
- Znalostní báze vašeho AI Agenta je aktualizována o nový obsah ze stránek flowhunt.io pod cestami /blog/, /articles/ a /knowledge/.
- Procházení běží týdně a zajišťuje, že znalostní báze zůstává aktuální s novými nebo aktualizovanými stránkami v těchto sekcích bez ručního zásahu.

Vlastní hlavičky: Přidejte vlastní HTTP hlavičky pro požadavky při procházení. Formátujte jako HLAVIČKA=Hodnota (každý na jeden řádek): Tato funkce je velmi užitečná pro přizpůsobení procházení specifickým požadavkům webu. Povolením vlastních hlaviček mohou uživatelé autentizovat požadavky pro přístup k omezenému obsahu, napodobit chování konkrétního prohlížeče nebo splnit API či přístupové zásady webu. Například nastavení hlavičky Authorization umožní přístup k chráněným stránkám, vlastní User-Agent pomůže obejít detekci botů nebo zajistí kompatibilitu s weby, které omezují některé prohledávače. Tato flexibilita zajistí přesnější a komplexnější sběr dat, což usnadňuje indexaci relevantního obsahu do znalostní báze AI Agenta při dodržení bezpečnostních nebo přístupových pravidel webu.

MYHEADER=Jakákoli hodnota
Authorization=Bearer token123
User-Agent=Custom crawler

Jak vytvořit plán

Přejděte na Schedules ve svém FlowHunt dashboardu
Klikněte na “Add new Schedule”
Nastavte základní parametry:
- Vyberte typ procházení (Doména/Sitemap/URL/YouTube)
- Nastavte frekvenci (Denně/Týdně/Měsíčně/Ročně)
- Zadejte cílové URL
Rozbalte Pokročilé možnosti pokud je potřebujete:
- Povolit vykreslování v prohlížeči pro weby s JavaScriptem
- Nastavit sledování odkazů pro důkladné procházení
- Nastavit pravidla pro filtrování URL
  - Přidejte vlastní hlavičky, pokud je vyžadováno
Klikněte na “Add new Schedule” pro aktivaci