Blokkeren haalt je niet uit AI-zoekmachines, die een aparte bot gebruiken. De regel staat hieronder klaar: voeg andere crawlers toe als je wilt, plak je huidige bestand om samen te voegen en download.
Alles werkt op deze pagina, zonder aanmelding.
Wat deze tools doen
AI-crawlertools behandelt de twee tekstbestanden die bepalen hoe AI-systemen met een website omgaan. llms.txt is een uitnodiging: een korte Markdown-gids naar je nuttigste pagina's, geschreven voor taalmodellen en de tools die erop zijn gebouwd. robots.txt is de poortwachter: het vertelt elke crawler welke delen van de site hij mag ophalen. De generator schrijft het eerste, de builder schrijft het tweede en de checker leest elke robots.txt zoals een crawler dat zou doen.
Hoe llms.txt is opgebouwd
Het formaat komt uit het llms.txt-voorstel op llmstxt.org. Het bestand staat in de hoofdmap van de site, op /llms.txt, en gebruikt een vaste volgorde zodat het makkelijk te lezen is voor mensen en programma's:
- Een kop met de naam van de site of het project. Dit is het enige verplichte deel.
- Een geciteerde samenvatting met de kernfeiten die een lezer nodig heeft om de rest te begrijpen.
- Optionele details: alinea's of lijsten, maar geen koppen.
- Secties met links, elk onder een eigen kop van het tweede niveau. Elk item is een Markdown-link, eventueel gevolgd door een dubbele punt en een korte notitie.
- Een optionele sectie voor secundaire links die een lezer kan overslaan als er weinig ruimte is.
# Acme Garden Supplies > Seeds, tools and growing guides for small gardens. ## Guides - [Starting seeds indoors](https://example.com/guides/seeds.md): Timing by zone ## Optional - [Company history](https://example.com/about.md)
Het voorstel suggereert ook een schone Markdown-kopie van elke pagina aan te bieden op hetzelfde adres met .md toegevoegd, en vanuit llms.txt naar die kopieën te linken. De generator controleert of elke link een volledig webadres is en of de kop en samenvatting aanwezig zijn.
Wat llms-full.txt is
llms-full.txt is een aanvullend bestand dat veel documentatiesites naast llms.txt publiceren. In plaats van links bevat het de volledige tekst van elke pagina in één bestand, zodat een tool alles in één verzoek kan laden. Het is een gangbare conventie en geen onderdeel van het voorstel zelf. Zet de optie llms-full.txt in de generator aan om een opzet te krijgen met een kop en bronadres voor elke pagina, klaar om de inhoud in te plakken.
Training, zoeken en door gebruikers aangestuurde fetchers
AI-bedrijven laten nu elk meerdere bots draaien en ze doen verschillend werk. Eén blokkeren blokkeert de anderen niet.
- Trainingscrawlers zoals
GPTBot,ClaudeBot,CCBotenMeta-ExternalAgentverzamelen pagina's die mogelijk worden gebruikt om toekomstige modellen te trainen. Ze blokkeren houdt nieuwe inhoud uit toekomstige trainingssets. Het verwijdert niets wat al is verzameld. - Controletokens zoals
Google-ExtendedenApplebot-Extendedzijn geen aparte crawlers. Ze vertellen Google en Apple of pagina's die ze al voor zoeken crawlen mogen worden gebruikt voor AI-training. Ze blokkeren heeft geen invloed op Google Zoeken, Siri of Spotlight. - Zoekcrawlers zoals
OAI-SearchBot,PerplexityBotenClaude-SearchBotbouwen de indexen waarnaar AI-zoekantwoorden verwijzen. Ze blokkeren kan je site uit die antwoorden laten verdwijnen. - Door gebruikers aangestuurde fetchers zoals
ChatGPT-UserenPerplexity-Userbezoeken één pagina omdat een persoon erom vroeg. Meerdere aanbieders zeggen dat deze fetchers robots.txt mogelijk niet volgen, omdat een persoon en geen crawler het verzoek deed.
De middelste voorinstelling, Training blokkeren, is de gebruikelijke keuze voor sites die zichtbaar willen blijven in AI-zoekopdrachten zonder modeltraining te voeden.
Hoe de checker beslist
De checker volgt het Robots Exclusion Protocol, RFC 9309, dezelfde regels die Google voor zijn eigen crawlers documenteert:
- Een crawler volgt de groep waarvan de regel
User-agenthem noemt, vergeleken zonder op hoofdletters te letten. Als meerdere groepen hem noemen, worden hun regels gecombineerd. Alleen als geen enkele dat doet, valt hij terug op de groepUser-agent: *. - Van de regels die bij het pad passen wint de langste. Als een
Allow- en eenDisallow-regel even lang zijn, wintAllow. *komt overeen met elke reeks tekens en$aan het einde betekent dat het pad daar moet eindigen.Disallow: /*.pdf$blokkeert elke PDF maar niet/file.pdf?page=2.- Een lege
Disallow:blokkeert niets en/robots.txtzelf is altijd toegestaan.
Privacy
Niets wat je typt verlaat dit apparaat. De pagina heeft geen server: de bestanden worden door je browser geschreven en rechtstreeks uit het geheugen gedownload. Je invoer wordt in de opslag van deze browser bewaard zodat hij er de volgende keer nog is, en nergens anders. Gebruik Wissen in een tool om hem te verwijderen.
Vragen
Houdt robots.txt AI-crawlers echt tegen?
De grote partijen documenteren hun bots en zeggen robots.txt te volgen, en de meeste doen dat. Het is een verzoek, geen slot: een slecht gedragende scraper kan het negeren, en sommige door gebruikers aangestuurde fetchers zeggen openlijk dat ze dat kunnen. Zet pagina's achter een login om ze echt privé te houden.
Schaadt het blokkeren van AI-crawlers mijn positie in Google?
Nee. Google-Extended regelt alleen AI-training en Google stelt dat het geen rankingsignaal is. De builder raakt Googlebot of Bingbot, die gewone zoekopdrachten bedienen, nooit aan.
Waarom kan de checker mijn robots.txt niet zelf ophalen?
Browsers blokkeren dat een pagina op de ene site bestanden van een andere site leest, tenzij die site het toestaat, wat robots.txt-bestanden bijna nooit doen. Dat omzeilen zou betekenen dat je adres via een server loopt, en deze tool heeft er geen. Kopiëren en plakken kost een paar seconden.
Moet ik de oudere tokens anthropic-ai en Claude-Web blokkeren?
Ze staan niet meer in de huidige documentatie van de aanbieder, waarin ClaudeBot, Claude-User en Claude-SearchBot worden genoemd. De oudere namen in een blokkeerlijst laten staan doet geen kwaad, dus de voorinstelling Training blokkeren houdt ze.
Is llms.txt een officiële standaard?
Het is een voorstel, gepubliceerd in 2024 en overgenomen door veel documentatiesites en ontwikkelaarstools. Geen enkel groot AI-bedrijf heeft beloofd het te lezen, dus zie het als een extraatje met weinig moeite dat helpt bij tools die het wel lezen.
Waar komen de beschrijvingen van de crawlers vandaan?
Elke is gebaseerd op de eigen gepubliceerde documentatie van de aanbieder, gecontroleerd in oktober 2026. Bots en hun namen veranderen, dus controleer de pagina van de aanbieder voordat je op één enkele regel vertrouwt.