Controlla un robots.txt, crawler per crawler

Vedi se ogni crawler AI può scaricarla e la regola esatta che decide, con le stesse regole di corrispondenza che seguono i crawler: vince la corrispondenza più lunga e i caratteri jolly sono supportati.

Tutto funziona in questa pagina, senza registrazione.

Che cosa fanno questi strumenti

Gli strumenti per i crawler AI coprono i due file di testo che decidono come i sistemi AI trattano un sito web. llms.txt è un invito: una breve guida in Markdown alle tue pagine più utili, scritta per i modelli linguistici e gli strumenti che li usano. robots.txt è il custode: dice a ogni crawler quali parti del sito può recuperare. Il generatore scrive il primo, il costruttore scrive il secondo e il controllo legge qualsiasi robots.txt come farebbe un crawler.

Come è strutturato llms.txt

Il formato viene dalla proposta llms.txt su llmstxt.org. Il file sta alla radice del sito, in /llms.txt, e usa un ordine fisso così è facile da leggere per le persone e per i programmi:

• Un titolo con il nome del sito o del progetto. È l'unica parte obbligatoria.
• Un riassunto citato con i fatti chiave che un lettore deve conoscere per capire il resto.
• Dettagli facoltativi: paragrafi o elenchi, ma niente titoli.
• Le sezioni di link, ciascuna sotto il proprio titolo di secondo livello. Ogni voce è un link Markdown, seguito facoltativamente da due punti e una breve nota.
• Una sezione Optional per link secondari che un lettore può saltare quando lo spazio è poco.

# Acme Garden Supplies

> Seeds, tools and growing guides for small gardens.

## Guides

- [Starting seeds indoors](https://example.com/guides/seeds.md): Timing by zone

## Optional

- [Company history](https://example.com/about.md)

La proposta suggerisce anche di offrire una copia Markdown pulita di ogni pagina allo stesso indirizzo con .md aggiunto, e di collegare quelle copie da llms.txt. Il generatore controlla che ogni link sia un indirizzo web completo e che titolo e riassunto ci siano.

Che cos'è llms-full.txt

llms-full.txt è un file complementare che molti siti di documentazione pubblicano accanto a llms.txt. Invece dei link, contiene il testo completo di ogni pagina in un unico file, così uno strumento può caricare tutto con una sola richiesta. È una convenzione diffusa e non fa parte della proposta in sé. Attiva l'opzione llms-full.txt nel generatore per ottenere una scaletta con un titolo e l'indirizzo di origine per ogni pagina, pronta per incollarci il contenuto.

Addestramento, ricerca e fetcher dell'utente

Le aziende di AI ormai gestiscono più bot ciascuna, e fanno lavori diversi. Bloccarne uno non blocca gli altri.

• I crawler di addestramento come GPTBot, ClaudeBot, CCBot e Meta-ExternalAgent raccolgono pagine che possono essere usate per addestrare modelli futuri. Bloccarli tiene i nuovi contenuti fuori dai futuri insiemi di addestramento. Non rimuove nulla che sia già stato raccolto.
• I token di controllo come Google-Extended e Applebot-Extended non sono crawler separati. Dicono a Google e Apple se le pagine che già scansionano per la ricerca possono essere usate per l'addestramento AI. Bloccarli non influisce su Google Search, Siri o Spotlight.
• I crawler di ricerca come OAI-SearchBot, PerplexityBot e Claude-SearchBot costruiscono gli indici che le risposte della ricerca AI citano e a cui rimandano. Bloccarli può far sparire il tuo sito da quelle risposte.
• I fetcher avviati dall'utente come ChatGPT-User e Perplexity-User visitano una singola pagina perché una persona ne ha chiesto. Diversi operatori dicono che questi fetcher possono non seguire il robots.txt, perché la richiesta l'ha fatta una persona e non un crawler.

Il preset intermedio, Blocca l'addestramento, è la scelta abituale per i siti che vogliono restare visibili nella ricerca AI senza alimentare l'addestramento dei modelli.

Come decide il controllo

Il controllo segue il Robots Exclusion Protocol, RFC 9309, le stesse regole che Google documenta per i propri crawler:

• Un crawler obbedisce al gruppo la cui riga User-agent lo nomina, confrontata senza distinguere maiuscole e minuscole. Se più gruppi lo nominano, le loro regole vengono combinate. Solo se nessuno lo fa, ripiega sul gruppo User-agent: *.
• Tra le regole che corrispondono al percorso, vince la più lunga. Quando una regola Allow e una Disallow hanno la stessa lunghezza, vince Allow.
• * corrisponde a qualsiasi sequenza di caratteri, e $ alla fine significa che il percorso deve finire lì. Disallow: /*.pdf$ blocca ogni PDF ma non /file.pdf?page=2.
• Un Disallow: vuoto non blocca nulla, e /robots.txt stesso è sempre consentito.

Privacy

Niente di ciò che scrivi lascia questo dispositivo. La pagina non ha nessun server dietro: i file vengono scritti dal tuo browser e scaricati direttamente dalla memoria. I tuoi dati restano nella memoria di questo browser così sono ancora qui la prossima volta, e da nessun'altra parte. Usa Cancella in qualsiasi strumento per rimuoverli.

Domande

Il robots.txt ferma davvero i crawler AI?

I grandi operatori documentano i loro bot e dicono di rispettare il robots.txt, e la maggior parte lo fa. È una richiesta, non un lucchetto: uno scraper che si comporta male può ignorarla, e alcuni fetcher avviati dall'utente dicono apertamente che possono farlo. Per mantenere davvero private le pagine, mettile dietro un login.

Bloccare i crawler AI danneggerà il mio posizionamento su Google?

No. Google-Extended controlla solo l'addestramento AI e Google dichiara che non è un fattore di posizionamento. Il costruttore non tocca mai Googlebot o Bingbot, che servono la ricerca normale.

Perché il controllo non riesce a recuperare da solo il mio robots.txt?

I browser impediscono a una pagina di un sito di leggere file di un altro, a meno che quel sito non lo permetta, cosa che i file robots.txt quasi mai fanno. Aggirare questo limite significherebbe inviare il tuo indirizzo a un server, e questo strumento non ne ha. Copiare e incollare richiede pochi secondi.

Dovrei bloccare i vecchi token anthropic-ai e Claude-Web?

Non compaiono più nella documentazione attuale dell'operatore, che elenca ClaudeBot, Claude-User e Claude-SearchBot. Lasciare i nomi più vecchi in un elenco di blocco non fa danni, quindi il preset Blocca l'addestramento li mantiene.

llms.txt è uno standard ufficiale?

È una proposta, pubblicata nel 2024 e adottata da molti siti di documentazione e strumenti per sviluppatori. Nessuna grande azienda di AI ha promesso di leggerla, quindi consideralo un extra a basso costo che aiuta gli strumenti che lo fanno.

Da dove arrivano le descrizioni dei crawler?

Ognuno si basa sulla documentazione pubblicata dall'operatore stesso, controllata a ottobre 2026. I bot e i loro nomi cambiano, quindi controlla la pagina dell'operatore prima di fare affidamento su una singola voce.