Elige qué rastreadores de IA pueden leer tu sitio

Marca los que quieres bloquear, o parte de un ajuste preestablecido, y obtén reglas de robots.txt que puedes pegar en tu archivo actual.

Todo funciona en esta página, sin registro.

Qué hacen estas herramientas

Las herramientas para rastreadores de IA cubren los dos archivos de texto que deciden cómo tratan los sistemas de IA a un sitio web. llms.txt es una invitación: una guía breve en Markdown de tus páginas más útiles, escrita para los modelos de lenguaje y las herramientas basadas en ellos. robots.txt es el guardián: dice a cada rastreador qué partes del sitio puede descargar. El generador escribe el primero, el creador escribe el segundo y el verificador lee cualquier robots.txt como lo haría un rastreador.

Cómo se organiza llms.txt

El formato viene de la propuesta de llms.txt de llmstxt.org. El archivo está en la raíz del sitio, en /llms.txt, y usa un orden fijo para que lo lean con facilidad personas y programas:

• Un título con el nombre del sitio o del proyecto. Es la única parte obligatoria.
• Un resumen citado con los datos clave que un lector necesita para entender el resto.
• Detalles opcionales: párrafos o listas, pero sin títulos.
• Secciones de enlaces, cada una bajo su propio título de segundo nivel. Cada elemento es un enlace en Markdown, seguido opcionalmente de dos puntos y una nota breve.
• Una sección Optional para enlaces secundarios que un lector puede omitir cuando falta espacio.

# Acme Garden Supplies

> Seeds, tools and growing guides for small gardens.

## Guides

- [Starting seeds indoors](https://example.com/guides/seeds.md): Timing by zone

## Optional

- [Company history](https://example.com/about.md)

La propuesta también sugiere ofrecer una copia limpia en Markdown de cada página en la misma dirección con .md añadido, y enlazar a esas copias desde llms.txt. El generador comprueba que cada enlace sea una dirección web completa y que el título y el resumen estén presentes.

Qué es llms-full.txt

llms-full.txt es un archivo complementario que publican muchos sitios de documentación junto a llms.txt. En lugar de enlaces, contiene el texto completo de cada página en un solo archivo, para que una herramienta pueda cargarlo todo en una sola solicitud. Es una convención habitual y no forma parte de la propuesta en sí. Activa la opción llms-full.txt en el generador para obtener un esquema con un título y una dirección de origen para cada página, listo para que pegues el contenido.

Entrenamiento, búsqueda y agentes activados por el usuario

Las empresas de IA ya manejan varios bots cada una, y hacen trabajos distintos. Bloquear uno no bloquea los demás.

• Los rastreadores de entrenamiento como GPTBot, ClaudeBot, CCBot y Meta-ExternalAgent recopilan páginas que pueden usarse para entrenar futuros modelos. Bloquearlos mantiene el contenido nuevo fuera de los futuros conjuntos de entrenamiento. No elimina nada que ya se haya recopilado.
• Los tokens de control como Google-Extended y Applebot-Extended no son rastreadores aparte. Indican a Google y a Apple si las páginas que ya rastrean para la búsqueda pueden usarse para entrenar IA. Bloquearlos no afecta a la Búsqueda de Google, a Siri ni a Spotlight.
• Los rastreadores de búsqueda como OAI-SearchBot, PerplexityBot y Claude-SearchBot crean los índices que citan y enlazan las respuestas de la búsqueda con IA. Bloquearlos puede hacer que tu sitio desaparezca de esas respuestas.
• Los agentes activados por el usuario como ChatGPT-User y Perplexity-User visitan una sola página porque una persona preguntó por ella. Varios operadores dicen que estos agentes pueden no seguir robots.txt, porque la solicitud la hizo una persona y no un rastreador.

El ajuste intermedio, Bloquear entrenamiento, es la elección habitual para los sitios que quieren seguir visibles en la búsqueda con IA sin alimentar el entrenamiento de modelos.

Cómo decide el verificador

El verificador sigue el Protocolo de Exclusión de Robots, RFC 9309, las mismas reglas que Google documenta para sus propios rastreadores:

• Un rastreador obedece al grupo cuya línea User-agent lo nombra, comparando sin distinguir mayúsculas. Si varios grupos lo nombran, se combinan sus reglas. Solo si ninguno lo hace, recurre al grupo User-agent: *.
• Entre las reglas que coinciden con la ruta, gana la más larga. Cuando una regla Allow y una Disallow tienen la misma longitud, gana Allow.
• * coincide con cualquier serie de caracteres, y $ al final significa que la ruta debe terminar ahí. Disallow: /*.pdf$ bloquea todos los PDF pero no /file.pdf?page=2.
• Un Disallow: vacío no bloquea nada, y /robots.txt en sí siempre está permitido.

Privacidad

Nada de lo que escribes sale de este dispositivo. La página no tiene servidor detrás: tu navegador escribe los archivos y se descargan directamente desde la memoria. Tus entradas se guardan en el almacenamiento de este navegador para que sigan aquí la próxima vez, y en ningún otro lugar. Usa Borrar en cualquier herramienta para eliminarlas.

Preguntas

¿Realmente robots.txt detiene a los rastreadores de IA?

Los grandes operadores documentan sus bots y dicen que respetan robots.txt, y la mayoría lo hace. Es una petición, no una cerradura: un rastreador que se porte mal puede ignorarlo, y algunos agentes activados por el usuario dicen abiertamente que pueden hacerlo. Para mantener páginas realmente privadas, ponlas detrás de un inicio de sesión.

¿Bloquear los rastreadores de IA perjudicará mi posición en Google?

No. Google-Extended controla solo el entrenamiento de IA y Google afirma que no es una señal de posicionamiento. El creador nunca toca Googlebot ni Bingbot, que atienden la búsqueda normal.

¿Por qué el verificador no puede obtener mi robots.txt por sí solo?

Los navegadores impiden que una página de un sitio lea archivos de otro a menos que ese sitio lo permita, y los archivos robots.txt casi nunca lo permiten. Sortearlo implicaría enviar tu dirección a través de un servidor, y esta herramienta no tiene ninguno. Copiar y pegar lleva unos segundos.

¿Debo bloquear los tokens antiguos anthropic-ai y Claude-Web?

Ya no aparecen en la documentación actual del operador, que enumera ClaudeBot, Claude-User y Claude-SearchBot. Dejar los nombres antiguos en una lista de bloqueo no hace daño, así que el ajuste Bloquear entrenamiento los conserva.

¿Es llms.txt un estándar oficial?

Es una propuesta, publicada en 2024 y adoptada por muchos sitios de documentación y herramientas para desarrolladores. Ninguna gran empresa de IA ha prometido leerla, así que tómala como un extra de bajo costo que ayuda a las herramientas que sí lo hacen.

¿De dónde salen las descripciones de los rastreadores?

Cada una se basa en la documentación publicada por el propio operador, revisada en octubre de 2026. Los bots y sus nombres cambian, así que consulta la página del operador antes de fiarte de una sola entrada.