Confira um robots.txt, rastreador por rastreador

Você vê se cada rastreador de IA pode buscar e a regra exata que decide, com as mesmas regras de correspondência que os rastreadores seguem: a correspondência mais longa vence e curingas são aceitos.

Tudo funciona nesta página, sem cadastro.

O que estas ferramentas fazem

As ferramentas para crawlers de IA cobrem os dois arquivos de texto simples que decidem como sistemas de IA tratam um site. O llms.txt é um convite: um guia curto em Markdown para as suas páginas mais úteis, escrito para modelos de linguagem e as ferramentas feitas com eles. O robots.txt é o porteiro: diz a cada crawler quais partes do site ele pode buscar. O gerador escreve o primeiro, o criador escreve o segundo e o verificador lê qualquer robots.txt do jeito que um crawler leria.

Como o llms.txt é organizado

O formato vem da proposta do llms.txt em llmstxt.org. O arquivo fica na raiz do site, em /llms.txt, e usa uma ordem fixa para ser fácil de ler por pessoas e por programas:

• Um título com o nome do site ou do projeto. Esta é a única parte obrigatória.
• Um resumo em citação com os fatos principais de que o leitor precisa para entender o resto.
• Detalhes opcionais: parágrafos ou listas, mas sem títulos.
• Seções de links, cada uma sob o próprio título de segundo nível. Cada item é um link em Markdown, opcionalmente seguido de dois-pontos e uma observação curta.
• Uma seção Optional para links secundários que o leitor pode pular quando o espaço é curto.

# Acme Garden Supplies

> Seeds, tools and growing guides for small gardens.

## Guides

- [Starting seeds indoors](https://example.com/guides/seeds.md): Timing by zone

## Optional

- [Company history](https://example.com/about.md)

A proposta também sugere oferecer uma cópia limpa em Markdown de cada página no mesmo endereço com .md acrescentado e apontar para essas cópias a partir do llms.txt. O gerador confere se cada link é um endereço da web completo e se o título e o resumo estão presentes.

O que é o llms-full.txt

O llms-full.txt é um arquivo complementar que muitos sites de documentação publicam ao lado do llms.txt. Em vez de links, ele guarda o texto completo de cada página em um só arquivo, para uma ferramenta carregar tudo em uma única requisição. É uma convenção comum, e não parte da proposta em si. Ative a opção llms-full.txt no gerador para obter um esboço com um título e o endereço de origem de cada página, pronto para você colar o conteúdo.

Treinamento, busca e fetchers de usuário

As empresas de IA agora têm vários bots cada uma, e eles fazem trabalhos diferentes. Bloquear um não bloqueia os outros.

• Crawlers de treinamento como GPTBot, ClaudeBot, CCBot e Meta-ExternalAgent coletam páginas que podem ser usadas para treinar modelos futuros. Bloqueá-los mantém conteúdo novo fora dos conjuntos de treinamento futuros. Isso não remove nada que já foi coletado.
• Tokens de controle como Google-Extended e Applebot-Extended não são crawlers separados. Eles dizem ao Google e à Apple se páginas que eles já rastreiam para busca podem ser usadas para treinar IA. Bloqueá-los não afeta a Pesquisa Google, a Siri nem o Spotlight.
• Crawlers de busca como OAI-SearchBot, PerplexityBot e Claude-SearchBot montam os índices que as respostas de busca com IA citam e para os quais apontam. Bloqueá-los pode fazer o seu site sumir dessas respostas.
• Fetchers acionados pelo usuário como ChatGPT-User e Perplexity-User visitam uma única página porque uma pessoa perguntou sobre ela. Vários operadores dizem que esses fetchers podem não seguir o robots.txt, porque foi uma pessoa, e não um crawler, que fez a requisição.

A predefinição do meio, Bloquear treinamento, é a escolha habitual para sites que querem continuar visíveis na busca com IA sem alimentar o treinamento de modelos.

Como o verificador decide

O verificador segue o Robots Exclusion Protocol, RFC 9309, as mesmas regras que o Google documenta para os próprios crawlers:

• Um crawler obedece ao grupo cuja linha User-agent o nomeia, comparando sem diferenciar maiúsculas e minúsculas. Se vários grupos o nomeiam, as regras deles são combinadas. Só se nenhum o nomear é que ele recorre ao grupo User-agent: *.
• Entre as regras que correspondem ao caminho, vence a mais longa. Quando uma regra Allow e uma Disallow têm o mesmo tamanho, Allow vence.
• * corresponde a qualquer sequência de caracteres, e $ no fim significa que o caminho precisa terminar ali. Disallow: /*.pdf$ bloqueia todo PDF, mas não /file.pdf?page=2.
• Um Disallow: vazio não bloqueia nada, e o próprio /robots.txt é sempre permitido.

Privacidade

Nada do que você digita sai deste dispositivo. A página não tem servidor por trás: os arquivos são escritos pelo seu navegador e baixados direto da memória. Suas entradas ficam guardadas no armazenamento deste navegador para ainda estarem aqui na próxima vez, e em nenhum outro lugar. Use Limpar em qualquer ferramenta para removê-las.

Perguntas

O robots.txt realmente impede os rastreadores de IA?

As grandes empresas documentam seus bots e dizem que seguem o robots.txt, e a maioria segue. É um pedido, não uma tranca: um scraper mal-comportado pode ignorá-lo, e alguns buscadores acionados por usuários dizem abertamente que podem fazer isso. Para manter páginas realmente privadas, coloque-as atrás de um login.

Bloquear rastreadores de IA prejudica minha posição no Google?

Não. O Google-Extended controla apenas o treinamento de IA, e o Google afirma que não é um sinal de ranqueamento. O criador nunca mexe em Googlebot nem em Bingbot, que atendem a busca normal.

Por que o verificador não consegue buscar meu robots.txt sozinho?

Os navegadores impedem que uma página de um site leia arquivos de outro, a menos que esse outro site permita, o que os arquivos robots.txt quase nunca fazem. Contornar isso exigiria enviar seu endereço por um servidor, e esta ferramenta não tem nenhum. Copiar e colar leva alguns segundos.

Devo bloquear os tokens antigos anthropic-ai e Claude-Web?

Eles não aparecem mais na documentação atual do operador, que lista ClaudeBot, Claude-User e Claude-SearchBot. Deixar os nomes mais antigos em uma lista de bloqueio não faz mal, então a predefinição Bloquear treinamento os mantém.

O llms.txt é um padrão oficial?

É uma proposta, publicada em 2024 e adotada por muitos sites de documentação e ferramentas para desenvolvedores. Nenhuma grande empresa de IA prometeu lê-la, então trate-a como um extra de baixo custo que ajuda as ferramentas que a leem.

De onde vêm as descrições dos rastreadores?

Cada uma se baseia na documentação publicada pela própria empresa, conferida em outubro de 2026. Os bots e seus nomes mudam, então confira a página da empresa antes de confiar em uma única entrada.