Convertisseur AI de sitemap vers llms.txt

Ce workflow automatise le processus de conversion du sitemap.xml d’un site web en un format llms.txt structuré et adapté à l’IA. Le flux exploite des agents IA et des outils de récupération pour préparer facilement le contenu de votre site à l’usage dans les grands modèles de langage (LLM) et autres applications d’IA. Retrouvez ci-dessous le détail des étapes et composants.

1. Expérience utilisateur & point d’entrée

• Message de bienvenue à l’ouverture du chat
  Lorsqu’un utilisateur ouvre le chat, un widget de message affiche une invite amicale :

  🗂️ Déposez l’URL de votre sitemap.xml ci-dessous !
  Je vais le convertir en un format llms.txt propre, parfait à ingérer dans des modèles d’IA 🤖📄

  Cela pose des attentes claires et guide l’utilisateur à fournir la bonne entrée.

2. Gestion de la saisie utilisateur

• Nœud d’entrée de chat
  L’utilisateur colle l’URL de son fichier sitemap.xml dans l’interface de chat.
• Déclenchement du workflow
  L’URL saisie est automatiquement transmise à l’étape suivante pour traitement.

3. Récupération et traitement des URLs du sitemap

• Récupérateur d’URL (principal)
  Le workflow utilise un nœud de récupération de contenu d’URL pour :

  • Récupérer le contenu à partir de l’URL sitemap.xml fournie.
  • Appliquer des stratégies d’extraction (extraction à partir des titres, paragraphes, etc.).
  • Mettre en cache les résultats pour plus d’efficacité.
  • Limiter le contenu via des stratégies de tokens et de titres (ex : commencer à H1, ignorer le dernier titre).
  • Traiter éventuellement les métadonnées (données produit par exemple).

• Paramètres avancés

  • Gère jusqu’à 300 000 tokens par document.
  • Peut inclure le contenu de divers éléments HTML (H1–H6, paragraphes).
  • Prend en charge le strict whitelisting, le cache (2 semaines), et diverses stratégies de chargement.
  • Peut intégrer l’OCR pour le contenu image (désactivé par défaut).

4. Enrichissement avec des connaissances externes

• Outil de recherche Google
  L’agent IA dispose d’un outil de recherche Google, lui permettant de :

  • Chercher du contexte supplémentaire ou de la documentation liée si besoin.
  • Limiter les résultats (par défaut : 3), spécifier pays/langue.
  • Utiliser les résultats en cache pour l’efficacité.

• Récupérateur d’URL secondaire
  Un récupérateur supplémentaire peut être configuré pour extraire du contenu des URLs trouvées via Google Search, enrichissant encore la base de connaissances de l’agent IA si nécessaire.

5. Agent IA pour la conversion du contenu

• Nœud Agent IA
  Le cœur du workflow est un agent IA configuré pour :
  • Objectif :
    Transformer le contenu du sitemap.xml en un llms.txt bien structuré, selon un exemple fourni.
  • Rôle & contexte :
    L’agent se positionne en spécialiste de la génération de fichiers llms.txt.
  • Outils :
    Utilise à la fois les outils Google Search et Récupérateur d’URL pour accéder au contenu du site et du web.
  • Fonctionnement :
    L’agent :
    • Lit tous les contenus de pages récupérés.
    • Identifie le titre et la structure.
    • Décide quelles pages sont les plus importantes, et les liste en premier.
    • Place les pages moins critiques (catégories, tags…) à la fin.
    • Suit un format strict pour garantir que la sortie corresponde aux exigences de format llms.txt pour ingestion LLM.

6. Sortie et retour utilisateur

• Nœud de sortie de chat
  La sortie formatée par l’agent IA (le contenu llms.txt) est affichée à l’utilisateur dans le chat, prête à être utilisée pour l’entraînement IA ou l’ingestion.

Structure du workflow (vue d’ensemble)

Pourquoi ce workflow est-il utile ?

• Scalabilité :
  Automatise un processus chronophage, permettant de convertir n’importe quel sitemap en format utilisable pour les LLM sans expertise technique.

• Qualité et cohérence :
  Garantit un format de sortie homogène, améliorant la qualité de vos données d’entraînement IA.

• Extensibilité :
  Peut être personnalisé pour intégrer des sources de connaissance supplémentaires ou appliquer des logiques d’extraction avancées.

• Efficacité :
  Intègre cache et limites de tokens pour traiter même de grands sites rapidement et de façon fiable.

• Décisions pilotées par l’IA :
  L’agent peut prioriser intelligemment les pages importantes et structurer la sortie — ce qui serait fastidieux ou risqué à la main.

Exemples d’utilisations

• Préparer l’ensemble de votre site en un seul document structuré pour l’ingestion IA.
• Automatiser la curation de contenu pour bases de connaissances ou systèmes de documentation.
• Accélérer la création de datasets pour affiner des LLM avec du contenu de site spécifique à un domaine.

Ce workflow facilite, accélère et fiabilise la conversion des sitemaps de sites web en fichiers texte optimisés pour l’IA, vous faisant gagner des heures de travail manuel et assurant des entrées structurées de haute qualité à vos modèles IA.