Flowbeschrijving
Doel en voordelen
Deze workflow automatiseert het proces van het omzetten van de sitemap.xml van een website naar een gestructureerd en AI-vriendelijk llms.txt-formaat. De flow maakt gebruik van AI-agents en retrieval-tools om het voorbereiden van de inhoud van je site voor gebruik in large language models (LLM’s) en andere AI-toepassingen te stroomlijnen. Hieronder vind je een gedetailleerd overzicht van de stappen en componenten.
1. Gebruikerservaring & Ingangspunt
Welkomstbericht bij openen van chat
Wanneer een gebruiker de chat opent, toont een berichtwidget een vriendelijk bericht:
🗂️ Laat hieronder je sitemap.xml-URL achter!
Ik zet deze om naar een schoon llms.txt-formaat, perfect om AI-modellen mee te voeden 🤖📄
Dit schept duidelijke verwachtingen en begeleidt de gebruiker naar het juiste invoerveld.
2. Gebruikersinvoer verwerken
- Chat Input Node
De gebruiker plakt de URL van zijn sitemap.xml-bestand in de chatinterface. - Workflow activeren
De ingevoerde URL wordt automatisch doorgegeven aan de volgende stap voor verwerking.
3. Ophalen en Verwerken van Sitemap-URL’s
4. Aanvullen met Externe Kennis
Google Search Tool
De AI-agent is uitgerust met een Google Search-tool waarmee hij:
- Extra context of gerelateerde documentatie kan zoeken indien nodig.
- Resultaten kan beperken (standaard: 3), land/taal kan specificeren.
- Gecachte resultaten kan gebruiken voor efficiëntie.
Secundaire URL Retriever
Een extra retriever-node kan worden geconfigureerd om inhoud op te halen van URL’s die via Google Search zijn gevonden, om zo de kennisbasis van de AI-agent verder aan te vullen indien nodig.
5. AI Agent voor Inhoudsconversie
- AI Agent Node
De kern van de workflow is een AI-agent die als volgt is geconfigureerd:- Doel:
Zet de inhoud van sitemap.xml om naar een goed gestructureerde llms.txt volgens een gegeven voorbeeld. - Achtergrond & Rol:
De agent is gepositioneerd als specialist in het genereren van llms.txt-bestanden. - Tools:
Gebruikt zowel Google Search- als URL Retriever-tools voor toegang tot site- en webinhoud. - Werkwijze:
De agent:- Leest alle opgehaalde pagina-inhoud.
- Identificeert de titel en structuur.
- Bepaalt welke pagina’s het belangrijkst zijn, en zet deze bovenaan.
- Plaatst minder belangrijke pagina’s (zoals categorieën, tags) aan het einde.
- Volgt een strikt formaat zodat de output voldoet aan de
llms.txt-vereisten voor LLM-opname.
6. Output en Gebruikersfeedback
- Chat Output Node
De geformatteerde output van de AI-agent (de llms.txt-inhoud) wordt aan de gebruiker in de chat getoond, klaar voor AI-training of opname.
Workflow Structuur (Procesoverzicht)
| Stap | Component | Doel |
|---|
| 1 | Chat Opened Trigger | Toont welkom/instructiebericht |
| 2 | Message Widget | Begeleidt gebruiker bij het invoeren van sitemap.xml-URL |
| 3 | Chat Input | Ontvangt door gebruiker ingevoerde sitemap.xml-URL |
| 4 | URL Retriever | Haalt en parseert URL’s/inhoud uit sitemap |
| 5 | Google Search Tool | (Optioneel) Vindt extra context voor pagina’s |
| 6 | URL Retriever (Google) | (Optioneel) Haalt inhoud op van via Google gevonden URL’s |
| 7 | AI Agent | Converteert alle paginadata naar geformatteerde llms.txt |
| 8 | Chat Output | Presenteert geformatteerde llms.txt aan gebruiker |
Waarom is deze Workflow Nuttig?
Schaalbaarheid:
Automatiseert een tijdrovend handmatig proces, zodat je elke site-sitemap kunt omzetten naar een bruikbaar formaat voor LLM’s zonder technische kennis.
Kwaliteit en Consistentie:
Zorgt ervoor dat de output een strikt formaat volgt, wat de kwaliteit van je AI-trainingsdata verbetert.
Uitbreidbaarheid:
Kan worden aangepast om extra kennisbronnen te integreren of geavanceerdere extractielogica toe te passen.
Efficiëntie:
Integreert caching en tokenlimieten om zelfs grote websites snel en betrouwbaar te verwerken.
AI-gedreven Beslissingen:
De agent kan belangrijke pagina’s prioriteren en de output intelligent structureren—iets wat handmatig tijdrovend of foutgevoelig zou zijn.
Voorbeelden van Gebruiksscenario’s
- Je volledige website voorbereiden als één goed gestructureerd document voor AI-opname.
- Automatiseren van contentcuratie voor kennisbanken of documentatiesystemen.
- Datasetcreatie op grote schaal voor het verfijnen van LLM’s met domeinspecifieke site-inhoud.
Met deze workflow kun je eenvoudig, snel en betrouwbaar websitesitemaps omzetten naar AI-geoptimaliseerde tekstbestanden. Dit bespaart je uren handmatig werk en zorgt dat je AI-modellen hoogwaardige, gestructureerde input ontvangen.
