Konwerter Sitemap do llms.txt AI

Ten workflow automatyzuje proces konwersji pliku sitemap.xml strony internetowej do ustrukturyzowanego i przyjaznego AI formatu llms.txt. Flow wykorzystuje agentów AI oraz narzędzia do pobierania treści, by usprawnić przygotowanie zawartości strony do użycia w dużych modelach językowych (LLM) oraz innych aplikacjach AI. Poniżej znajduje się szczegółowy opis kroków i komponentów.

1. Doświadczenie użytkownika i punkt wejścia

• Wiadomość powitalna po otwarciu czatu
  Gdy użytkownik otwiera czat, widget wiadomości wyświetla przyjazny komunikat:

  🗂️ Wklej poniżej adres URL swojego sitemap.xml!
  Przekonwertuję go na czysty format llms.txt, idealny do trenowania modeli AI 🤖📄

  To ustawia jasne oczekiwania i prowadzi użytkownika do podania poprawnego wejścia.

2. Obsługa wejścia użytkownika

• Węzeł wejścia czatu
  Użytkownik wkleja adres URL swojego pliku sitemap.xml do interfejsu czatu.
• Uruchomienie workflow
  Podany adres URL jest automatycznie przekazywany do kolejnego kroku przetwarzania.

3. Pobieranie i przetwarzanie adresów URL z mapy strony

• URL Retriever (główny)
  Workflow używa węzła pobierającego treść URL do:

  • Pobierania zawartości z podanego adresu sitemap.xml.
  • Stosowania strategii ekstrakcji (np. wyciąganie z nagłówków, akapitów).
  • Buforowania wyników dla efektywności.
  • Ograniczania treści za pomocą strategii tokenów i nagłówków (np. zaczynając od H1, pomijając ostatni nagłówek).
  • Opcjonalnego przetwarzania metadanych (takich jak dane o produktach).

• Zaawansowane ustawienia

  • Obsługa do 300 000 tokenów na dokument.
  • Może uwzględniać treści z różnych elementów HTML (H1–H6, akapity).
  • Wspiera ścisłą białą listę, buforowanie (2 tygodnie) i strategie ładowania.
  • Może integrować OCR do treści obrazkowych (domyślnie wyłączone).

4. Uzupełnianie wiedzy o dane zewnętrzne

• Narzędzie Google Search
  Agent AI jest wyposażony w narzędzie Google Search, które umożliwia:

  • Wyszukiwanie dodatkowego kontekstu lub powiązanej dokumentacji, jeśli to konieczne.
  • Ograniczanie wyników (domyślnie: 3), określenie kraju/języka.
  • Korzystanie z wyników z pamięci podręcznej dla efektywności.

• Wtórny URL Retriever
  Dodatkowy węzeł pobierający może zostać skonfigurowany do pobierania treści z adresów URL znalezionych przez Google Search, wzbogacając bazę wiedzy agenta AI w razie potrzeby.

5. Agent AI do konwersji treści

• Węzeł agenta AI
  Rdzeniem workflow jest agent AI skonfigurowany w następujący sposób:
  • Cel:
    Przekształcenie zawartości sitemap.xml do dobrze ustrukturyzowanego pliku llms.txt według podanego przykładu.
  • Tło i rola:
    Agent występuje jako specjalista od generowania plików llms.txt.
  • Narzędzia:
    Korzysta zarówno z narzędzi Google Search jak i URL Retrievera, by mieć dostęp do treści strony i internetu.
  • Działanie:
    Agent:
    • Odczytuje całą pobraną treść stron.
    • Identyfikuje tytuł i strukturę.
    • Decyduje, które strony są najważniejsze i umieszcza je na początku.
    • Umieszcza mniej istotne strony (np. kategorie, tagi) na końcu.
    • Przestrzega ścisłego formatu, by output spełniał wymagania pliku llms.txt do zasilania LLM.

6. Wyjście i informacja zwrotna dla użytkownika

• Węzeł wyjścia czatu
  Sformatowany przez agenta AI output (treść llms.txt) jest wyświetlany użytkownikowi na czacie, gotowy do użycia w treningu AI lub zasileniu bazy wiedzy.

Struktura workflow (przegląd procesu)

Dlaczego ten workflow jest przydatny?

• Skalowalność:
  Automatyzuje czasochłonny, ręczny proces, pozwalając na konwersję dowolnej mapy strony do formatu użytecznego dla LLM bez wiedzy technicznej.

• Jakość i spójność:
  Zapewnia, że output spełnia ścisły format, podnosząc jakość danych do treningu AI.

• Rozszerzalność:
  Możliwość personalizacji o dodatkowe źródła wiedzy lub zaawansowaną logikę ekstrakcji.

• Wydajność:
  Integruje buforowanie oraz limity tokenów, dzięki czemu obsługuje nawet duże strony szybko i niezawodnie.

• Decyzje sterowane AI:
  Agent potrafi priorytetyzować ważne strony i inteligentnie strukturyzować output—co ręcznie byłoby żmudne i podatne na błędy.

Przykładowe zastosowania

• Przygotowanie całej strony internetowej jako jednego, dobrze ustrukturyzowanego dokumentu do zasilenia AI.
• Automatyzacja kuracji treści do baz wiedzy lub systemów dokumentacyjnych.
• Skalowanie tworzenia zbiorów danych do fine-tuningu LLM ze specyficzną treścią branżową.

Ten workflow umożliwia łatwą, szybką i niezawodną konwersję map stron internetowych do zoptymalizowanych pod AI plików tekstowych, oszczędzając godziny ręcznej pracy i zapewniając, że Twoje modele AI otrzymują wysokiej jakości, ustrukturyzowane dane wejściowe.