KI-Crawler blockieren, mit einem robots.txt-Block

Alle sind zu Beginn angehakt. Entferne das Häkchen bei denen, die du behalten willst, füge die Regeln in deine aktuelle robots.txt ein und lade herunter.

Alles funktioniert auf dieser Seite, ohne Anmeldung.

Was diese Tools tun

Die KI-Crawler-Tools behandeln die beiden reinen Textdateien, die bestimmen, wie KI-Systeme mit einer Website umgehen. llms.txt ist eine Einladung: ein kurzer Markdown-Leitfaden zu deinen nützlichsten Seiten, geschrieben für Sprachmodelle und die darauf aufbauenden Tools. robots.txt ist der Türsteher: Sie sagt jedem Crawler, welche Teile der Website er abrufen darf. Der Generator schreibt die erste, der Builder die zweite, und der Checker liest jede robots.txt so, wie ein Crawler es tun würde.

So ist llms.txt aufgebaut

Das Format stammt aus dem llms.txt-Vorschlag auf llmstxt.org. Die Datei liegt im Stammverzeichnis der Website unter /llms.txt und folgt einer festen Reihenfolge, damit Menschen und Programme sie leicht lesen können:

• Eine Überschrift mit dem Namen der Website oder des Projekts. Das ist der einzige Pflichtteil.
• Eine zitierte Zusammenfassung mit den wichtigsten Fakten, die man zum Verständnis des Rests braucht.
• Optionale Details: Absätze oder Listen, aber keine Überschriften.
• Link-Abschnitte, jeweils unter einer eigenen Überschrift der zweiten Ebene. Jeder Eintrag ist ein Markdown-Link, optional gefolgt von einem Doppelpunkt und einer kurzen Notiz.
• Ein Optional-Abschnitt für weniger wichtige Links, die ein Leser bei wenig Platz überspringen kann.

# Acme Garden Supplies

> Seeds, tools and growing guides for small gardens.

## Guides

- [Starting seeds indoors](https://example.com/guides/seeds.md): Timing by zone

## Optional

- [Company history](https://example.com/about.md)

Der Vorschlag empfiehlt außerdem, unter derselben Adresse mit angehängtem .md eine saubere Markdown-Kopie jeder Seite anzubieten und aus der llms.txt auf diese Kopien zu verlinken. Der Generator prüft, dass jeder Link eine vollständige Webadresse ist und Überschrift und Zusammenfassung vorhanden sind.

Was llms-full.txt ist

llms-full.txt ist eine Begleitdatei, die viele Dokumentationsseiten neben der llms.txt veröffentlichen. Statt Links enthält sie den vollständigen Text jeder Seite in einer Datei, sodass ein Tool alles mit einer einzigen Anfrage laden kann. Sie ist eine verbreitete Konvention, aber nicht Teil des Vorschlags selbst. Aktiviere im Generator die Option llms-full.txt, um eine Gliederung mit Überschrift und Quelladresse für jede Seite zu erhalten, in die du den Inhalt einfügen kannst.

Training, Suche und Nutzerabrufe

KI-Firmen betreiben inzwischen jeweils mehrere Bots, und die haben unterschiedliche Aufgaben. Wer einen blockiert, blockiert nicht die anderen.

• Trainings-Crawler wie GPTBot, ClaudeBot, CCBot und Meta-ExternalAgent sammeln Seiten, die zum Training künftiger Modelle genutzt werden können. Sie zu blockieren hält neue Inhalte aus künftigen Trainingsdaten heraus. Bereits Gesammeltes wird dadurch nicht entfernt.
• Steuer-Tokens wie Google-Extended und Applebot-Extended sind keine eigenen Crawler. Sie teilen Google und Apple mit, ob Seiten, die sie ohnehin für die Suche crawlen, für KI-Training genutzt werden dürfen. Sie zu blockieren wirkt sich nicht auf Google Search, Siri oder Spotlight aus.
• Such-Crawler wie OAI-SearchBot, PerplexityBot und Claude-SearchBot bauen die Indizes auf, die KI-Suchantworten zitieren und verlinken. Sie zu blockieren kann dazu führen, dass deine Website aus diesen Antworten verschwindet.
• Nutzergesteuerte Abrufe wie ChatGPT-User und Perplexity-User besuchen eine einzelne Seite, weil eine Person danach gefragt hat. Mehrere Betreiber geben an, dass diese Abrufe robots.txt eventuell nicht befolgen, weil die Anfrage von einer Person und nicht von einem Crawler kam.

Die mittlere Vorlage, Training blockieren, ist die übliche Wahl für Websites, die in der KI-Suche sichtbar bleiben wollen, ohne Modelltraining zu füttern.

So entscheidet der Checker

Der Checker folgt dem Robots Exclusion Protocol, RFC 9309, also denselben Regeln, die Google für seine eigenen Crawler dokumentiert:

• Ein Crawler folgt der Gruppe, deren User-agent-Zeile ihn nennt, ohne Beachtung der Groß- und Kleinschreibung. Nennen ihn mehrere Gruppen, werden ihre Regeln kombiniert. Nur wenn keine ihn nennt, greift er auf die Gruppe User-agent: * zurück.
• Unter den Regeln, die auf den Pfad passen, gewinnt die längste. Sind eine Allow- und eine Disallow-Regel gleich lang, gewinnt Allow.
• * passt auf eine beliebige Zeichenfolge, und $ am Ende bedeutet, dass der Pfad dort enden muss. Disallow: /*.pdf$ blockiert jedes PDF, aber nicht /file.pdf?page=2.
• Ein leeres Disallow: blockiert nichts, und /robots.txt selbst ist immer erlaubt.

Datenschutz

Nichts, was du eingibst, verlässt dieses Gerät. Hinter der Seite steht kein Server: Die Dateien werden von deinem Browser geschrieben und direkt aus dem Speicher heruntergeladen. Deine Eingaben werden im Speicher dieses Browsers abgelegt, damit sie beim nächsten Mal noch da sind, und nirgendwo sonst. Mit Leeren in jedem Tool entfernst du sie.

Fragen

Hält robots.txt KI-Crawler wirklich auf?

Die großen Betreiber dokumentieren ihre Bots und geben an, robots.txt zu beachten, und die meisten tun das auch. Es ist eine Bitte, kein Schloss: Ein schlecht programmierter Scraper kann sie ignorieren, und manche von Nutzern ausgelösten Abrufdienste sagen offen, dass sie das tun können. Damit Seiten wirklich privat bleiben, schütze sie mit einem Login.

Schadet das Blockieren von KI-Crawlern meinem Google-Ranking?

Nein. Google-Extended steuert nur das KI-Training, und laut Google ist es kein Ranking-Signal. Der Builder ändert nie Googlebot oder Bingbot, die für die normale Suche zuständig sind.

Warum kann der Checker meine robots.txt nicht selbst abrufen?

Browser verhindern, dass eine Seite Dateien einer anderen Website liest, solange diese das nicht erlaubt, und robots.txt-Dateien erlauben es so gut wie nie. Das zu umgehen hieße, deine Adresse über einen Server zu schicken, und dieses Tool hat keinen. Kopieren und Einfügen dauert nur ein paar Sekunden.

Sollte ich die älteren Tokens anthropic-ai und Claude-Web blockieren?

Sie stehen nicht mehr in der aktuellen Dokumentation des Betreibers, die ClaudeBot, Claude-User und Claude-SearchBot aufführt. Die älteren Namen in einer Sperrliste zu lassen schadet nicht, daher behält die Vorlage Training blockieren sie bei.

Ist llms.txt ein offizieller Standard?

Es ist ein Vorschlag, der 2024 veröffentlicht und von vielen Dokumentationsseiten und Entwickler-Tools übernommen wurde. Kein großes KI-Unternehmen hat zugesagt, ihn auszuwerten, sieh ihn also als günstiges Extra, das den Tools hilft, die ihn lesen.

Woher stammen die Beschreibungen der Crawler?

Jede beruht auf der offiziell veröffentlichten Dokumentation des jeweiligen Betreibers, geprüft im Oktober 2026. Bots und ihre Namen ändern sich, prüf daher die Seite des Betreibers, bevor du dich auf einen einzelnen Eintrag verlässt.