llms.txt

Cos’è llms.txt?

Il file llms.txt è un file di testo standardizzato in formato Markdown, progettato per migliorare il modo in cui i Large Language Models (LLM) accedono, comprendono e processano le informazioni dai siti web. Ospitato nella root di un sito (ad es. /llms.txt), questo file funge da indice curato che fornisce contenuti strutturati e riassunti, ottimizzati specificamente per la fruizione da parte delle macchine durante l’inferenza. Il suo obiettivo principale è bypassare le complessità dei contenuti HTML tradizionali—come menu di navigazione, pubblicità e JavaScript—presentando dati chiari, leggibili sia dall’uomo che dalla macchina.

A differenza di altri standard web come robots.txt o sitemap.xml, llms.txt è pensato esplicitamente per i motori di ragionamento, come ChatGPT, Claude o Google Gemini, piuttosto che per i motori di ricerca. Aiuta i sistemi AI a recuperare solo le informazioni più rilevanti e di valore, rispettando i limiti della context window, spesso troppo ridotta per gestire l’intero contenuto di un sito.

Origini di llms.txt

Il concetto è stato proposto da Jeremy Howard, co-fondatore di Answer.AI, nel settembre 2024. È nato come soluzione alle inefficienze riscontrate dai LLM nell’interazione con siti complessi. I metodi tradizionali di elaborazione delle pagine HTML spesso portano a spreco di risorse computazionali e a una cattiva interpretazione dei contenuti. Creando uno standard come llms.txt, i proprietari dei siti possono garantire che i loro contenuti vengano interpretati in modo accurato ed efficace dai sistemi di intelligenza artificiale.

Come viene utilizzato llms.txt?

Il file llms.txt viene utilizzato principalmente nell’ambito dell’intelligenza artificiale e delle interazioni guidate dai LLM. Il suo formato strutturato consente un recupero e una gestione efficienti dei contenuti del sito da parte dei LLM, superando i limiti di dimensione della context window e di efficienza del processamento.

Struttura di un file llms.txt

Il file llms.txt segue uno schema specifico basato su Markdown per garantire la compatibilità sia con gli umani che con le macchine. La struttura include:

1. Intestazione H1: Il titolo del sito o del progetto.
2. Blockquote Riassuntivo: Una descrizione concisa o un riassunto dello scopo del sito e delle sue principali caratteristiche.
3. Sezioni Dettagliate: Sezioni libere (es. paragrafi o elenchi) per contesto aggiuntivo o dettagli critici.
4. Elenchi di Risorse Delimitati da H2: Link categorizzati a risorse importanti, come documentazione, API o riferimenti esterni. Ogni link può includere una breve descrizione.
5. Sezione Opzionale (## Optional): Riservata a risorse secondarie che possono essere omesse per risparmiare spazio nella context window dell’LLM.

Esempio:

# Sito Esempio  
> Una piattaforma per condividere conoscenze e risorse sull’intelligenza artificiale.  

## Documentazione  
- [Guida Rapida](https://example.com/docs/quickstart.md): Una guida introduttiva per iniziare.  
- [Riferimento API](https://example.com/docs/api.md): Documentazione dettagliata delle API.  

## Policy  
- [Termini di Servizio](https://example.com/terms.md): Linee guida legali per l’utilizzo della piattaforma.  
- [Privacy Policy](https://example.com/privacy.md): Informazioni sulla gestione dei dati e la privacy degli utenti.  

## Optional  
- [Storia Aziendale](https://example.com/history.md): Una timeline delle principali tappe e successi.

Caratteristiche Principali

• Navigazione AI-leggibile: Fornisce una visione semplificata della struttura del sito, facilitando l’individuazione dei contenuti rilevanti da parte dei LLM.
• Formato Markdown: Garantisce la leggibilità per gli umani e consente l’analisi programmata tramite parser o regex.
• Ottimizzazione del Contesto: Aiuta i LLM a dare priorità ai contenuti di valore escludendo elementi superflui come pubblicità o JavaScript.

Casi d’Uso

1. Documentazione Tecnica: Gli sviluppatori possono collegare riferimenti API, guide rapide e altre risorse per facilitare gli assistenti di coding come GitHub Copilot o Codeium.
2. E-Commerce: I rivenditori online possono usare llms.txt per indirizzare i sistemi AI verso tassonomie di prodotti, politiche di reso e guide alle taglie.
3. Educazione: Le università possono mettere in evidenza programmi dei corsi, calendari e policy d’iscrizione per assistenti AI rivolti agli studenti.
4. FAQ Aziendali: Le aziende possono ottimizzare il supporto clienti collegando FAQ, guide alla risoluzione problemi e documenti di policy.

Esempi pratici di llms.txt

1. FastHTML

FastHTML, una libreria Python per la creazione di applicazioni web server-rendered, utilizza llms.txt per semplificare l’accesso alla documentazione. Il suo file include link alle guide rapide, riferimenti HTMX ed esempi applicativi, garantendo agli sviluppatori un rapido reperimento delle risorse specifiche.

Esempio:

# FastHTML  
> Una libreria Python per creare applicazioni ipermediali server-rendered.  

## Docs  
- [Quick Start](https://fastht.ml/docs/quickstart.md): Panoramica delle principali funzionalità.  
- [HTMX Reference](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): Attributi e metodi HTMX completi.  

2. Nike (Esempio ipotetico)

Un colosso dell’e-commerce come Nike potrebbe utilizzare un file llms.txt per fornire ai sistemi AI informazioni sulle proprie linee di prodotto, iniziative di sostenibilità e policy di assistenza clienti.

Esempio:

# Nike  
> Leader globale nelle calzature e abbigliamento sportivo, con attenzione a sostenibilità e innovazione.  

## Linee di Prodotto  
- [Scarpe da Corsa](https://nike.com/products/running.md): Dettagli sulle tecnologie React foam e Vaporweave.  
- [Iniziative di Sostenibilità](https://nike.com/sustainability.md): Obiettivi per il 2025 e materiali eco-friendly.  

## Assistenza Clienti  
- [Politica di Reso](https://nike.com/returns.md): Finestra di reso di 60 giorni ed eccezioni.  
- [Guide alle Taglie](https://nike.com/sizing.md): Tabelle per la scelta di taglie calzature e abbigliamento.

llms.txt vs. Robots.txt vs. Sitemap.xml

Confronto

Sebbene tutti e tre gli standard siano progettati per assistere i sistemi automatizzati, i loro scopi e destinatari sono molto diversi.

• llms.txt:

  • Destinatari: Large Language Models (ad es. ChatGPT, Claude, Google Gemini).
  • Scopo: Fornire contenuti curati e ottimizzati per il contesto durante l’inferenza.
  • Formato: Markdown.
  • Caso d’uso: Interazioni AI-driven e motori di ragionamento.

• robots.txt:

  • Destinatari: Crawler dei motori di ricerca.
  • Scopo: Controllare il comportamento di scansione e indicizzazione.
  • Formato: Testo semplice.
  • Caso d’uso: SEO e gestione degli accessi.

• sitemap.xml:

  • Destinatari: Motori di ricerca.
  • Scopo: Elencare tutte le pagine indicizzabili di un sito.
  • Formato: XML.
  • Caso d’uso: SEO e discovery dei contenuti.

Vantaggi chiave di llms.txt

1. Ottimizzazione specifica per l’IA: A differenza di robots.txt e sitemap.xml, llms.txt è progettato per i motori di ragionamento e non per i motori di ricerca tradizionali.
2. Riduzione del rumore: Si concentra solo su contenuti di valore e leggibili dalla macchina, omettendo elementi superflui come pubblicità o menu di navigazione.
3. Integrazione con Markdown: Si allinea al formato amico dei LLM per un parsing e processamento più semplice.

Integrazione e Strumenti

Creazione di un file llms.txt

• Creazione manuale: Utilizza un editor di testo per scrivere il file in formato Markdown.
• Strumenti automatici:
  • Mintlify: Genera automaticamente llms.txt e llms-full.txt per la documentazione ospitata.
  • Firecrawl Generator: Scansiona il tuo sito e crea llms.txt.

Hosting e Validazione

• Inserisci il file nella directory root del tuo sito (ad es. https://example.com/llms.txt).
• Valida il file con strumenti come llms_txt2ctx per garantire la conformità allo standard.

Integrazione con Sistemi AI

• Upload diretto: Alcuni strumenti AI permettono agli utenti di caricare direttamente file llms.txt o llms-full.txt (es. Claude o ChatGPT).
• Framework: Usa strumenti come LangChain o LlamaIndex per integrare il file nei flussi di retrieval-augmented generation.

Sfide e Considerazioni

1. Adozione da parte dei grandi provider LLM: Sebbene llms.txt abbia trovato consensi tra sviluppatori e piattaforme più piccole, non è ancora ufficialmente supportato da grandi provider come OpenAI o Google.
2. Manutenzione: Il file deve essere aggiornato regolarmente per riflettere modifiche nei contenuti o nella struttura.
3. Limiti della context window: Per documentazioni molto estese, il file llms-full.txt potrebbe eccedere le dimensioni della context window di alcuni LLM.

Nonostante queste sfide, llms.txt rappresenta un approccio lungimirante per ottimizzare i contenuti destinati ai sistemi guidati dall’IA. Adottando questo standard, le organizzazioni possono assicurarsi che i propri contenuti siano accessibili, accurati e prioritizzati in un mondo sempre più AI-first.

Research: Large Language Models (LLM)

I Large Language Models (LLM) sono diventati una tecnologia dominante nel natural language processing, alimentando applicazioni come chatbot, moderazione dei contenuti e motori di ricerca. In “Lost in Translation: Large Language Models in Non-English Content Analysis” di Nicholas e Bhatia (2023), gli autori forniscono una chiara spiegazione tecnica sul funzionamento dei LLM, evidenziando la differenza di disponibilità dei dati tra inglese e altre lingue e discutendo gli sforzi per colmare questo divario tramite modelli multilingua. Il paper dettaglia le sfide dell’analisi dei contenuti tramite LLM, specialmente in contesti multilingua, e offre raccomandazioni per ricercatori, aziende e policymakers riguardo lo sviluppo e la distribuzione dei LLM. Gli autori sottolineano che, nonostante i progressi, permangono limitazioni significative per le lingue non inglesi. Leggi il paper

Il paper “Cedille: A large autoregressive French language model” di Müller e Laurent (2022) presenta Cedille, un modello di linguaggio di grandi dimensioni specifico per il francese. Cedille è open source e mostra prestazioni superiori nei benchmark zero-shot in francese rispetto ai modelli esistenti, rivaleggiando persino con GPT-3 per diversi task. Lo studio valuta anche la sicurezza di Cedille, mostrando miglioramenti nella tossicità grazie a un attento filtraggio del dataset. Questo lavoro evidenzia l’importanza di sviluppare LLM ottimizzati per lingue specifiche. Il paper sottolinea la necessità di risorse linguistiche dedicate nel panorama dei LLM. Leggi il paper

In “How Good are Commercial Large Language Models on African Languages?” di Ojo e Ogueji (2023), gli autori valutano le prestazioni dei LLM commerciali sulle lingue africane sia per task di traduzione che di classificazione del testo. I risultati indicano che questi modelli generalmente sottoperformano sulle lingue africane, con risultati migliori nella classificazione rispetto alla traduzione. L’analisi copre otto lingue africane di diverse famiglie e regioni. Gli autori richiamano una maggiore rappresentanza delle lingue africane nei LLM commerciali, dato il loro crescente utilizzo. Questo studio evidenzia le lacune attuali e la necessità di uno sviluppo più inclusivo dei language model. Leggi il paper

“Goldfish: Monolingual Language Models for 350 Languages” di Chang et al. (2024) analizza le prestazioni di modelli monolingua rispetto ai modelli multilingua per lingue a basse risorse. La ricerca dimostra che i grandi modelli multilingua spesso sono meno performanti rispetto a semplici modelli bigram per molte lingue, come misurato dalla perplexity FLORES. Goldfish introduce modelli monolingua addestrati per 350 lingue, migliorando significativamente le performance per le lingue a basse risorse. Gli autori auspicano uno sviluppo più mirato per le lingue meno rappresentate. Questo lavoro offre spunti preziosi sui limiti degli attuali LLM multilingua e sul potenziale delle alternative monolingua. Leggi il paper