Bloquer GPTBot, en deux lignes de robots.txt

Le bloquer ne vous retire pas de la recherche IA, qui utilise un robot distinct. La règle est prête ci-dessous : ajoutez d'autres robots si vous voulez, collez votre fichier actuel pour fusionner, et téléchargez.

Tout fonctionne dans cette page, sans inscription.

Ce que font ces outils

Les outils pour robots d'IA couvrent les deux fichiers texte qui décident de la façon dont les systèmes d'IA traitent un site. llms.txt est une invitation : un court guide Markdown de vos pages les plus utiles, écrit pour les modèles de langage et les outils construits dessus. robots.txt est le gardien : il indique à chaque robot quelles parties du site il peut récupérer. Le générateur écrit le premier, le créateur écrit le second, et le vérificateur lit n'importe quel robots.txt comme le ferait un robot.

Comment llms.txt est organisé

Le format vient de la proposition llms.txt de llmstxt.org. Le fichier se trouve à la racine du site, à /llms.txt, et suit un ordre fixe pour être facile à lire par les personnes comme par les programmes :

• Un titre avec le nom du site ou du projet. C'est la seule partie obligatoire.
• Un résumé en citation avec les faits essentiels dont un lecteur a besoin pour comprendre le reste.
• Détails facultatifs : paragraphes ou listes, mais pas de titres.
• Des sections de liens, chacune sous son propre titre de deuxième niveau. Chaque élément est un lien Markdown, éventuellement suivi de deux-points et d'une courte note.
• Une section Facultatif pour les liens secondaires qu'un lecteur peut ignorer quand la place manque.

# Acme Garden Supplies

> Seeds, tools and growing guides for small gardens.

## Guides

- [Starting seeds indoors](https://example.com/guides/seeds.md): Timing by zone

## Optional

- [Company history](https://example.com/about.md)

La proposition suggère aussi d'offrir une copie Markdown propre de chaque page à la même adresse avec .md ajouté, et de renvoyer vers ces copies depuis llms.txt. Le générateur vérifie que chaque lien est une adresse web complète et que le titre et le résumé sont en place.

Ce qu'est llms-full.txt

llms-full.txt est un fichier compagnon que de nombreux sites de documentation publient à côté de llms.txt. Au lieu de liens, il contient le texte complet de chaque page dans un seul fichier, pour qu'un outil charge tout en une seule requête. C'est une convention courante plutôt qu'une partie de la proposition elle-même. Activez l'option llms-full.txt dans le générateur pour obtenir un plan avec un titre et l'adresse source de chaque page, prêt à recevoir le contenu que vous collerez.

Entraînement, recherche et récupérateurs

Les entreprises d'IA exploitent désormais plusieurs robots chacune, et ils font des tâches différentes. En bloquer un ne bloque pas les autres.

• Les robots d'entraînement comme GPTBot, ClaudeBot, CCBot et Meta-ExternalAgent collectent des pages qui peuvent servir à entraîner de futurs modèles. Les bloquer garde le nouveau contenu hors des futurs jeux d'entraînement. Cela ne retire rien de ce qui a déjà été collecté.
• Les jetons de contrôle comme Google-Extended et Applebot-Extended ne sont pas des robots distincts. Ils indiquent à Google et Apple si les pages qu'ils explorent déjà pour la recherche peuvent servir à l'entraînement de l'IA. Les bloquer n'affecte ni la recherche Google, ni Siri, ni Spotlight.
• Les robots de recherche comme OAI-SearchBot, PerplexityBot et Claude-SearchBot construisent les index que citent et vers lesquels renvoient les réponses de la recherche IA. Les bloquer peut faire disparaître votre site de ces réponses.
• Les récupérateurs déclenchés par l'utilisateur comme ChatGPT-User et Perplexity-User visitent une seule page parce qu'une personne l'a demandée. Plusieurs opérateurs indiquent que ces récupérateurs peuvent ne pas suivre robots.txt, parce qu'une personne, et non un robot, a fait la demande.

Le préréglage du milieu, Bloquer l'entraînement, est le choix habituel pour les sites qui veulent rester visibles dans la recherche IA sans alimenter l'entraînement des modèles.

Comment le vérificateur décide

Le vérificateur suit le protocole d'exclusion des robots, RFC 9309, les mêmes règles que Google documente pour ses propres robots :

• Un robot obéit au groupe dont la ligne User-agent le nomme, sans tenir compte de la casse. Si plusieurs groupes le nomment, leurs règles sont combinées. Seulement si aucun ne le fait, il se rabat sur le groupe User-agent: *.
• Parmi les règles qui correspondent au chemin, la plus longue l'emporte. Quand une règle Allow et une règle Disallow ont la même longueur, Allow l'emporte.
• * correspond à n'importe quelle suite de caractères, et $ à la fin signifie que le chemin doit s'arrêter là. Disallow: /*.pdf$ bloque tous les PDF mais pas /file.pdf?page=2.
• Un Disallow: vide ne bloque rien, et /robots.txt lui-même est toujours autorisé.

Confidentialité

Rien de ce que vous saisissez ne quitte cet appareil. La page n'a pas de serveur derrière elle : les fichiers sont écrits par votre navigateur et téléchargés directement depuis la mémoire. Vos saisies sont conservées dans le stockage de ce navigateur pour être encore là la prochaine fois, et nulle part ailleurs. Utilisez Effacer dans n'importe quel outil pour les supprimer.

Questions

Le fichier robots.txt arrête-t-il vraiment les robots d'IA ?

Les grands opérateurs documentent leurs robots et disent respecter le fichier robots.txt, et la plupart le font. C'est une demande, pas un verrou : un robot d'aspiration mal élevé peut l'ignorer, et certains outils de récupération déclenchés par l'utilisateur disent ouvertement qu'ils peuvent le faire. Pour garder vraiment des pages privées, placez-les derrière une connexion.

Bloquer les robots d'IA nuira-t-il à mon classement Google ?

Non. Google-Extended ne contrôle que l'entraînement de l'IA et Google indique que ce n'est pas un signal de classement. Le créateur ne touche jamais à Googlebot ni à Bingbot, qui servent la recherche normale.

Pourquoi le vérificateur ne peut-il pas récupérer mon robots.txt tout seul ?

Les navigateurs empêchent une page d'un site de lire les fichiers d'un autre site, sauf si ce site l'autorise, ce que les fichiers robots.txt ne font presque jamais. Contourner cela reviendrait à faire passer votre adresse par un serveur, et cet outil n'en a pas. Un copier-coller prend quelques secondes.

Dois-je bloquer les anciens jetons anthropic-ai et Claude-Web ?

Ils ne figurent plus dans la documentation actuelle de l'opérateur, qui liste ClaudeBot, Claude-User et Claude-SearchBot. Laisser les anciens noms dans une liste de blocage ne pose aucun problème : le préréglage Bloquer l'entraînement les conserve donc.

llms.txt est-il une norme officielle ?

C'est une proposition, publiée en 2024 et adoptée par de nombreux sites de documentation et outils pour développeurs. Aucune grande entreprise d'IA n'a promis de le lire : voyez-le comme un petit plus peu coûteux qui aide les outils qui le font.

D'où viennent les descriptions des robots ?

Chacune repose sur la documentation publiée par l'opérateur lui-même, vérifiée en octobre 2026. Les robots et leurs noms changent : consultez la page de l'opérateur avant de vous fier à une seule entrée.