Sitemap naar llms.txt AI Converter

Deze workflow automatiseert het proces van het omzetten van de sitemap.xml van een website naar een gestructureerd en AI-vriendelijk llms.txt-formaat. De flow maakt gebruik van AI-agents en retrieval-tools om het voorbereiden van de inhoud van je site voor gebruik in large language models (LLM’s) en andere AI-toepassingen te stroomlijnen. Hieronder vind je een gedetailleerd overzicht van de stappen en componenten.

1. Gebruikerservaring & Ingangspunt

• Welkomstbericht bij openen van chat
  Wanneer een gebruiker de chat opent, toont een berichtwidget een vriendelijk bericht:

  🗂️ Laat hieronder je sitemap.xml-URL achter!
  Ik zet deze om naar een schoon llms.txt-formaat, perfect om AI-modellen mee te voeden 🤖📄

  Dit schept duidelijke verwachtingen en begeleidt de gebruiker naar het juiste invoerveld.

2. Gebruikersinvoer verwerken

• Chat Input Node
  De gebruiker plakt de URL van zijn sitemap.xml-bestand in de chatinterface.
• Workflow activeren
  De ingevoerde URL wordt automatisch doorgegeven aan de volgende stap voor verwerking.

3. Ophalen en Verwerken van Sitemap-URL’s

• URL Retriever (Primair)
  De workflow gebruikt een URL Content Retriever-node om:

  • De inhoud van de opgegeven sitemap.xml-URL op te halen.
  • Extractiestrategieën toe te passen (zoals extraheren uit koppen, paragrafen).
  • Resultaten te cachen voor efficiëntie.
  • Inhoud te beperken met behulp van token- en headerstrategieën (bijv. starten vanaf H1, laatste header overslaan).
  • Optioneel metadata te verwerken (zoals productdata).

• Geavanceerde instellingen

  • Verwerkt tot 300.000 tokens per document.
  • Kan inhoud opnemen uit diverse HTML-elementen (H1–H6, paragrafen).
  • Ondersteunt strikte whitelisting, caching (2 weken) en laadstrategieën.
  • Kan OCR integreren voor op afbeeldingen gebaseerde inhoud (standaard uitgeschakeld).

4. Aanvullen met Externe Kennis

• Google Search Tool
  De AI-agent is uitgerust met een Google Search-tool waarmee hij:

  • Extra context of gerelateerde documentatie kan zoeken indien nodig.
  • Resultaten kan beperken (standaard: 3), land/taal kan specificeren.
  • Gecachte resultaten kan gebruiken voor efficiëntie.

• Secundaire URL Retriever
  Een extra retriever-node kan worden geconfigureerd om inhoud op te halen van URL’s die via Google Search zijn gevonden, om zo de kennisbasis van de AI-agent verder aan te vullen indien nodig.

5. AI Agent voor Inhoudsconversie

• AI Agent Node
  De kern van de workflow is een AI-agent die als volgt is geconfigureerd:
  • Doel:
    Zet de inhoud van sitemap.xml om naar een goed gestructureerde llms.txt volgens een gegeven voorbeeld.
  • Achtergrond & Rol:
    De agent is gepositioneerd als specialist in het genereren van llms.txt-bestanden.
  • Tools:
    Gebruikt zowel Google Search- als URL Retriever-tools voor toegang tot site- en webinhoud.
  • Werkwijze:
    De agent:
    • Leest alle opgehaalde pagina-inhoud.
    • Identificeert de titel en structuur.
    • Bepaalt welke pagina’s het belangrijkst zijn, en zet deze bovenaan.
    • Plaatst minder belangrijke pagina’s (zoals categorieën, tags) aan het einde.
    • Volgt een strikt formaat zodat de output voldoet aan de llms.txt-vereisten voor LLM-opname.

6. Output en Gebruikersfeedback

• Chat Output Node
  De geformatteerde output van de AI-agent (de llms.txt-inhoud) wordt aan de gebruiker in de chat getoond, klaar voor AI-training of opname.

Workflow Structuur (Procesoverzicht)

Waarom is deze Workflow Nuttig?

• Schaalbaarheid:
  Automatiseert een tijdrovend handmatig proces, zodat je elke site-sitemap kunt omzetten naar een bruikbaar formaat voor LLM’s zonder technische kennis.

• Kwaliteit en Consistentie:
  Zorgt ervoor dat de output een strikt formaat volgt, wat de kwaliteit van je AI-trainingsdata verbetert.

• Uitbreidbaarheid:
  Kan worden aangepast om extra kennisbronnen te integreren of geavanceerdere extractielogica toe te passen.

• Efficiëntie:
  Integreert caching en tokenlimieten om zelfs grote websites snel en betrouwbaar te verwerken.

• AI-gedreven Beslissingen:
  De agent kan belangrijke pagina’s prioriteren en de output intelligent structureren—iets wat handmatig tijdrovend of foutgevoelig zou zijn.

Voorbeelden van Gebruiksscenario’s

• Je volledige website voorbereiden als één goed gestructureerd document voor AI-opname.
• Automatiseren van contentcuratie voor kennisbanken of documentatiesystemen.
• Datasetcreatie op grote schaal voor het verfijnen van LLM’s met domeinspecifieke site-inhoud.

Met deze workflow kun je eenvoudig, snel en betrouwbaar websitesitemaps omzetten naar AI-geoptimaliseerde tekstbestanden. Dit bespaart je uren handmatig werk en zorgt dat je AI-modellen hoogwaardige, gestructureerde input ontvangen.