Aikataulutettujen verkkosivustojen ryömintöjen automatisointi

FlowHuntin Aikataulu-ominaisuuden avulla voit automatisoida verkkosivustojen, sivustokarttojen, verkkotunnusten ja YouTube-kanavien ryömimisen ja indeksoinnin. Näin AI Agentisi tietopohja pysyy ajan tasalla tuoreella sisällöllä ilman manuaalista työtä.

Näin ajoitus toimii

• Automaattinen ryömäys:
  Aseta toistuvat ryömäykset päivittäin, viikoittain, kuukausittain tai vuosittain, jotta tietopohja pysyy ajan tasalla.

• Useita ryömintätyyppejä:
  Valitse ryömäystyypiksi verkkotunnuksen ryömäys, sivustokartan ryömäys, URL-ryömäys tai YouTube-kanavan ryömäys sisältölähteen mukaan.

• Kehittyneet asetukset:
  Määritä selaimen renderöinti, linkkien seuraaminen, kuvakaappaukset, proxyjen kierto ja URL-suodatus optimaalisten tulosten saavuttamiseksi.

Aikataulun määritysasetukset

Perusasetukset

Tyyppi: Valitse ryömäysmenetelmä:

• Verkkotunnuksen ryömäys: Ryömi koko verkkotunnus järjestelmällisesti
• Sivustokartan ryömäys: Käytä sivuston sitemap.xml-tiedostoa tehokkaaseen ryömimiseen
• URL-ryömäys: Kohdista yksittäisiin URL-osoitteisiin tai sivuihin
• YouTube-kanavan ryömäys: Indeksoi YouTube-kanavien videosisältöä

Tiheys: Aseta, kuinka usein ryömäys suoritetaan:

• Päivittäin, viikoittain, kuukausittain tai vuosittain

URL: Syötä ryömittävän kohteen URL, verkkotunnus tai YouTube-kanava

Kehittyneet ryömintäasetukset

Selaimella (lisähyvityksiä): Ota käyttöön, kun ryömit JavaScript-painotteisia sivustoja, jotka vaativat täydellisen selaimen renderöinnin. Tämä vaihtoehto on hitaampi ja kalliimpi, mutta välttämätön sivustoille, jotka lataavat sisältöä dynaamisesti.

Seuraa linkkejä (lisähyvityksiä): Käsittele lisä-URL-osoitteet, jotka löytyvät sivuilta. Hyödyllinen, kun sivustokartat eivät sisällä kaikkia URL-osoitteita, mutta voi kuluttaa huomattavasti hyvityksiä, koska se ryömii löydetyt linkit.

Ota kuvakaappaus (lisähyvityksiä): Ota visuaalisia kuvakaappauksia ryömäyksen aikana. Hyödyllinen sivustoilla, joilla ei ole og:kuvia tai jotka tarvitsevat visuaalista kontekstia tekoälykäsittelyyn.

Proxyjen kierto (lisähyvityksiä): Vaihda IP-osoitetta jokaisessa pyynnössä, jotta vältät Web Application Firewallien (WAF) tai bottiestojen tunnistuksen.

URL-suodatus

Ohita osuvat URL-osoitteet: Syötä merkkijonoja (yksi per rivi) poistaaksesi ryömäyksestä URL-osoitteet, jotka sisältävät näitä kuvioita. Esimerkki:

/admin/
/login
.pdf

Esimerkki: flowhunt.io:n ryömäys, jossa /blog ohitetaan

Tässä esimerkissä selitetään, mitä tapahtuu, kun käytät FlowHuntin Aikataulu-ominaisuutta ryömiäksesi flowhunt.io-verkkotunnuksen ja asetat /blog ohitettavaksi URL-suodatuksen asetuksiin.

Määritysasetukset

• Tyyppi: Verkkotunnuksen ryömäys
• URL: flowhunt.io
• Tiheys: Viikoittain
• URL-suodatus (Ohita osuvat URL-osoitteet): /blog
• Muut asetukset: Oletus (ei selaimen renderöintiä, ei linkkien seuraamista, ei kuvakaappauksia, ei proxyjen kiertoa)

Mitä tapahtuu

1. Ryömintä käynnistyy:

   • FlowHunt aloittaa flowhunt.io-verkkotunnuksen ryömimisen ja käy läpi kaikki verkkotunnuksen saavutettavat sivut (esim. flowhunt.io, flowhunt.io/features, flowhunt.io/pricing, jne.).

2. URL-suodatus käytössä:

   • Ryömijä arvioi jokaisen löydetyn URL-osoitteen ohituskuvion /blog perusteella.
   • Kaikki URL-osoitteet, joissa on /blog (esim. flowhunt.io/blog, flowhunt.io/blog/post1, flowhunt.io/blog/category), jätetään pois ryömäyksestä.
   • Muut URL-osoitteet, kuten flowhunt.io/about, flowhunt.io/contact tai flowhunt.io/docs, ryömitään, koska ne eivät sisällä /blog-kuviota.

3. Ryömintä suoritetaan:

   • Ryömijä käsittelee järjestelmällisesti jäljelle jääneet URL-osoitteet flowhunt.io:ssa ja indeksoi niiden sisällön AI Agentisi tietopohjaan.
   • Koska selaimen renderöinti, linkkien seuraaminen, kuvakaappaukset ja proxyjen kierto ovat pois päältä, ryömäys on kevyt ja keskittyy vain staattiseen sisältöön ei-ohitetuista URL-osoitteista.

4. Lopputulos:

   • AI Agentisi tietopohja päivittyy tuoreella sisällöllä flowhunt.io:sta, mutta kaikki /blog-polun alaiset sisällöt jätetään pois.
   • Ryömäys suoritetaan viikoittain, joten tietopohja pysyy ajantasaisena uusien tai päivitettyjen sivujen osalta (lukuun ottamatta /blog-osuutta) ilman manuaalista työtä.

Indeksoi vain osuvat URL-osoitteet: Syötä merkkijonoja (yksi per rivi), jotta ryömitään vain URL-osoitteet, jotka sisältävät nämä kuviot. Esimerkki:

/blog/
/articles/
/knowledge/

Esimerkki osuvien URL-osoitteiden sisällyttämisestä

Määritysasetukset

• Tyyppi: Verkkotunnuksen ryömäys
• URL: flowhunt.io
• Tiheys: Viikoittain
• URL-suodatus (Indeksoi vain osuvat URL-osoitteet):

  /blog/
  /articles/
  /knowledge/
  

• Muut asetukset: Oletus (ei selaimen renderöintiä, ei linkkien seuraamista, ei kuvakaappauksia, ei proxyjen kiertoa)

1. Ryömintä käynnistyy:

   • FlowHunt aloittaa flowhunt.io-verkkotunnuksen ryömimisen ja käy läpi kaikki verkkotunnuksen saavutettavat sivut (esim. flowhunt.io, flowhunt.io/blog, flowhunt.io/articles, jne.).

2. URL-suodatus käytössä:

   • Ryömijä arvioi jokaisen löydetyn URL-osoitteen indeksointikuvioiden /blog/, /articles/ ja /knowledge/ perusteella.
   • Vain URL-osoitteet, joissa on nämä kuviot (esim. flowhunt.io/blog/post1, flowhunt.io/articles/news, flowhunt.io/knowledge/guide), sisällytetään ryömäykseen.
   • Muut URL-osoitteet, kuten flowhunt.io/about, flowhunt.io/pricing tai flowhunt.io/contact, jätetään pois, koska ne eivät vastaa määriteltyjä kuvioita.

3. Ryömintä suoritetaan:

   • Ryömijä käsittelee vain URL-osoitteet, jotka vastaavat /blog/, /articles/ tai /knowledge/-kuvioita ja indeksoi niiden sisällön AI Agentisi tietopohjaan.
   • Koska selaimen renderöinti, linkkien seuraaminen, kuvakaappaukset ja proxyjen kierto ovat pois päältä, ryömäys on kevyt ja keskittyy vain mukana olevien URL-osoitteiden staattiseen sisältöön.

4. Lopputulos:

   • AI Agentisi tietopohja päivittyy tuoreella sisällöllä flowhunt.io-sivuilta, jotka sijaitsevat /blog/, /articles/ ja /knowledge/-polkujen alla.
   • Ryömäys suoritetaan viikoittain, joten tietopohja pysyy ajan tasalla uusien tai päivitettyjen sivujen osalta näissä osioissa ilman manuaalista työtä.

Mukautetut otsikot: Lisää mukautettuja HTTP-otsikoita ryömintäpyyntöihin. Muotoile muodossa HEADER=Arvo (yksi per rivi): Tämä ominaisuus on erittäin hyödyllinen, kun ryömintä tarvitsee mukauttaa tietyn verkkosivuston vaatimuksiin. Mukautettujen otsikoiden avulla käyttäjät voivat esimerkiksi todennuksen avulla päästä rajoitettuihin sisältöihin, jäljitellä tiettyä selainta tai noudattaa sivuston API- tai käyttöpolitiikkaa. Esimerkiksi Authorization-otsikon asettaminen voi avata pääsyn suojatuille sivuille, kun taas mukautettu User-Agent voi auttaa välttämään bottiestot tai varmistaa yhteensopivuuden sivustoilla, jotka rajoittavat tiettyjä ryömijöitä. Tämä joustavuus mahdollistaa tarkemman ja kattavamman tiedonkeruun, jolloin tekoälyagentin tietopohjaan voidaan indeksoida olennaista sisältöä samalla kun noudatetaan sivuston suoja- ja käyttöehtoja.

MYHEADER=Mikä tahansa arvo
Authorization=Bearer token123
User-Agent=Custom crawler

Kuinka luoda aikataulu

1. Siirry Aikataulut-välilehdelle FlowHunt-hallintapaneelissa
   

2. Klikkaa “Lisää uusi aikataulu”
   

3. Määritä perusasetukset:

   • Valitse ryömintätyyppi (Verkkotunnus/Sivustokartta/URL/YouTube)
   • Aseta tiheys (Päivittäin/Viikoittain/Kuukausittain/Vuosittain)
   • Syötä kohde-URL

4. Laajenna kehittyneet asetukset tarvittaessa:

   • Ota käyttöön selaimen renderöinti JS-painotteisille sivustoille
   • Määritä linkkien seuraaminen kattavaa ryömintää varten
   • Aseta URL-suodatussäännöt
     • Lisää mukautetut otsikot tarvittaessa
       

5. Klikkaa “Lisää uusi aikataulu” aktivoidaksesi

Parhaat käytännöt

Useimmille verkkosivustoille:

• Aloita perus-sivustokartta- tai verkkotunnuksen ryömäyksellä
• Käytä aluksi oletusasetuksia
• Lisää kehittyneitä asetuksia vain tarvittaessa

JavaScript-painotteisille sivustoille:

• Ota “Selaimella” -asetus käyttöön
• Harkitse kuvakaappausten ottamista visuaalista sisältöä varten
• Saatat tarvita proxykiertoa, jos pääsy estetään

Suurille sivustoille:

• Käytä URL-suodatusta keskittyäksesi olennaiseen sisältöön
• Aseta sopiva tiheys tasapainottaaksesi tuoreuden ja hyvitysten käytön välillä
• Seuraa hyvitysten kulutusta kehittyneiden ominaisuuksien kanssa

Verkkokaupoille tai dynaamiselle sisällölle:

• Käytä päivittäistä tai viikoittaista tiheyttä
• Ota linkkien seuraaminen käyttöön tuotesivuille
• Harkitse mukautettuja otsikoita todennetulle sisällölle

Hyvitysten käyttö

Kehittyneet ominaisuudet kuluttavat lisähyvityksiä:

• Selaimen renderöinti lisää käsittelyaikaa ja kustannuksia
• Linkkien seuraaminen moninkertaistaa ryömittyjen sivujen määrän
• Kuvakaappaukset lisäävät visuaalisen käsittelyn kuormaa
• Proxyjen kierto kasvattaa verkkokuormitusta

Seuraa hyvitysten käyttöäsi ja säädä aikatauluja tarpeidesi ja budjettisi mukaan.

Vianmääritys – yleisimmät ongelmat

Ryömintä epäonnistuu:

• Ota “Selaimella” käyttöön JavaScript-riippuvaisille sivuille
• Ota “Proxyjen kierto” käyttöön, jos WAF estää pääsyn
• Tarkista mukautetut otsikot todennuksen varalta

Liian monta/liian vähän sivuja:

• Käytä “Ohita osuvat URL-osoitteet” poistaaksesi ei-toivotun sisällön
• Käytä “Indeksoi vain osuvat URL-osoitteet” keskittyäksesi tiettyihin osioihin
• Säädä linkkien seuraamisen asetuksia

Puuttuva sisältö:

• Ota “Seuraa linkkejä” käyttöön, jos sivustokartta on puutteellinen
• Tarkista, etteivät URL-suodatussäännöt ole liian rajoittavia
• Varmista, että kohde-URL on saavutettavissa