Sprawdź robots.txt, robot po robocie

Widzisz, czy każdy robot AI może ją pobrać, i dokładną regułę, która decyduje, według tych samych reguł dopasowania, których przestrzegają roboty: wygrywa najdłuższe dopasowanie, a symbole wieloznaczne są obsługiwane.

Wszystko działa na tej stronie, bez rejestracji.

Co robią te narzędzia

Narzędzia dla robotów AI obejmują dwa zwykłe pliki tekstowe, które decydują o tym, jak systemy AI traktują stronę. llms.txt to zaproszenie: krótki przewodnik w Markdown po najbardziej przydatnych stronach, napisany dla modeli językowych i zbudowanych na nich narzędzi. robots.txt to strażnik: mówi każdemu robotowi, które części strony może pobierać. Generator pisze pierwszy, kreator pisze drugi, a sprawdzanie odczytuje dowolny robots.txt tak, jak zrobiłby to robot.

Jak wygląda układ llms.txt

Format pochodzi z propozycji llms.txt na llmstxt.org. Plik leży w katalogu głównym strony, pod adresem /llms.txt, i używa stałej kolejności, więc łatwo go czytać ludziom i programom:

• Nagłówek z nazwą strony lub projektu. To jedyna wymagana część.
• Zacytowane podsumowanie z kluczowymi faktami, których czytelnik potrzebuje do zrozumienia reszty.
• Opcjonalne szczegóły: akapity lub listy, ale bez nagłówków.
• Sekcje linków, każda pod własnym nagłówkiem drugiego poziomu. Każda pozycja to link Markdown, opcjonalnie z dwukropkiem i krótką notatką.
• Sekcja opcjonalna na linki drugorzędne, które czytelnik może pominąć, gdy brakuje miejsca.

# Acme Garden Supplies

> Seeds, tools and growing guides for small gardens.

## Guides

- [Starting seeds indoors](https://example.com/guides/seeds.md): Timing by zone

## Optional

- [Company history](https://example.com/about.md)

Propozycja sugeruje też oferowanie czystej kopii Markdown każdej strony pod tym samym adresem z dodanym .md i linkowanie do tych kopii z llms.txt. Generator sprawdza, czy każdy link jest pełnym adresem internetowym oraz czy nagłówek i podsumowanie są na miejscu.

Czym jest llms-full.txt

llms-full.txt to plik towarzyszący, który wiele stron z dokumentacją publikuje obok llms.txt. Zamiast linków zawiera pełny tekst każdej strony w jednym pliku, więc narzędzie może załadować wszystko jednym zapytaniem. To powszechna konwencja, a nie część samej propozycji. Włącz opcję llms-full.txt w generatorze, aby otrzymać konspekt z nagłówkiem i adresem źródła dla każdej strony, gotowy do wklejenia treści.

Trenowanie, wyszukiwanie i pobierające na żądanie

Firmy AI uruchamiają teraz po kilka botów każda i mają one różne zadania. Zablokowanie jednego nie blokuje pozostałych.

• Roboty trenujące, takie jak GPTBot, ClaudeBot, CCBot i Meta-ExternalAgent, zbierają strony, które mogą być użyte do trenowania przyszłych modeli. Ich zablokowanie trzyma nową treść poza przyszłymi zbiorami treningowymi. Nie usuwa niczego, co już zebrano.
• Tokeny kontrolne, takie jak Google-Extended i Applebot-Extended, nie są osobnymi robotami. Mówią Google i Apple, czy strony, które już przeszukują dla wyszukiwania, mogą być użyte do trenowania AI. Ich zablokowanie nie wpływa na Wyszukiwarkę Google, Siri ani Spotlight.
• Roboty wyszukujące, takie jak OAI-SearchBot, PerplexityBot i Claude-SearchBot, budują indeksy, które cytują i do których linkują odpowiedzi wyszukiwania AI. Ich zablokowanie może sprawić, że Twoja strona zniknie z tych odpowiedzi.
• Pobierające na żądanie użytkownika, takie jak ChatGPT-User i Perplexity-User, odwiedzają pojedynczą stronę, bo osoba o nią zapytała. Kilku operatorów mówi, że te moduły mogą nie przestrzegać robots.txt, bo żądanie zgłosiła osoba, a nie robot.

Środkowe ustawienie, Blokuj trenowanie, to zwykły wybór dla stron, które chcą pozostać widoczne w wyszukiwaniu AI bez zasilania trenowania modeli.

Jak sprawdzanie podejmuje decyzję

Sprawdzanie podąża za Robots Exclusion Protocol, RFC 9309, czyli tymi samymi regułami, które Google dokumentuje dla własnych robotów:

• Robot przestrzega grupy, której linia User-agent go wymienia, bez rozróżniania wielkości liter. Jeśli kilka grup go wymienia, ich reguły są łączone. Tylko jeśli żadna go nie wymienia, wraca do grupy User-agent: *.
• Wśród reguł pasujących do ścieżki wygrywa najdłuższa. Gdy reguły Allow i Disallow mają tę samą długość, wygrywa Allow.
• * pasuje do dowolnego ciągu znaków, a $ na końcu oznacza, że ścieżka musi się tam kończyć. Disallow: /*.pdf$ blokuje każdy PDF, ale nie /file.pdf?page=2.
• Pusty Disallow: niczego nie blokuje, a /robots.txt samo w sobie jest zawsze dozwolone.

Prywatność

Nic, co wpiszesz, nie opuszcza tego urządzenia. Strona nie ma za sobą serwera: pliki są pisane przez Twoją przeglądarkę i pobierane prosto z pamięci. Twoje wpisy są przechowywane w pamięci tej przeglądarki, więc nadal tu będą następnym razem, i nigdzie indziej. Użyj Wyczyść w dowolnym narzędziu, aby je usunąć.

Pytania

Czy robots.txt naprawdę powstrzymuje roboty AI?

Więksi operatorzy dokumentują swoje boty i deklarują, że przestrzegają robots.txt, i większość to robi. To prośba, nie zamek: źle zachowujący się scraper może ją zignorować, a niektóre moduły pobierające uruchamiane przez użytkownika otwarcie mówią, że mogą. Aby naprawdę zachować strony prywatnie, umieść je za logowaniem.

Czy blokowanie robotów AI zaszkodzi mojej pozycji w Google?

Nie. Google-Extended kontroluje wyłącznie trenowanie AI, a Google zapewnia, że nie jest sygnałem rankingowym. Kreator nigdy nie dotyka Googlebot ani Bingbot, które obsługują zwykłe wyszukiwanie.

Dlaczego sprawdzanie nie może samo pobrać mojego robots.txt?

Przeglądarki blokują stronie z jednej witryny odczyt plików z innej, chyba że ta witryna na to pozwala, czego pliki robots.txt prawie nigdy nie robią. Obejście tego wymagałoby wysłania Twojego adresu przez serwer, a to narzędzie żadnego nie ma. Kopiowanie i wklejanie zajmuje kilka sekund.

Czy powinienem zablokować starsze tokeny anthropic-ai i Claude-Web?

Nie pojawiają się już w aktualnej dokumentacji operatora, która wymienia ClaudeBot, Claude-User i Claude-SearchBot. Pozostawienie starszych nazw na liście blokowania nie szkodzi, więc ustawienie Blokuj trenowanie je zachowuje.

Czy llms.txt jest oficjalnym standardem?

To propozycja opublikowana w 2024 roku i przyjęta przez wiele witryn z dokumentacją i narzędzi dla programistów. Żadna duża firma AI nie obiecała jej czytać, więc potraktuj ją jako tani dodatek, który pomaga narzędziom, które to robią.

Skąd pochodzą opisy robotów?

Każdy opis opiera się na własnej opublikowanej dokumentacji operatora, sprawdzonej w październiku 2026. Boty i ich nazwy się zmieniają, więc sprawdź stronę operatora, zanim zaufasz pojedynczemu wpisowi.