サイトを読んでよいAIクローラーを選ぶ

ブロックしたいものにチェックを入れるか、プリセットから始めると、現在のファイルに貼り付けられるrobots.txtのルールが得られます。

すべてこのページ内で動作し、登録は不要です。

これらのツールでできること

AIクローラーツールは、AIシステムがWebサイトをどう扱うかを決める、2つのプレーンテキストファイルを扱います。llms.txtは招待状です：言語モデルとそれを使ったツール向けに書かれた、最も役立つページへの短いMarkdownのガイドです。robots.txtは門番です：各クローラーが、サイトのどの部分を取得してよいかを伝えます。ジェネレーターが前者を、ビルダーが後者を作成し、チェッカーが、クローラーと同じようにrobots.txtを読み取ります。

llms.txtのレイアウト

形式は、llmstxt.orgのllms.txt提案に基づきます。ファイルはサイトのルートの/llms.txtに置かれ、人にもプログラムにも読みやすいよう、決まった順序を使います：

• サイトまたはプロジェクト名の見出し。これが唯一の必須の部分です。
• 引用された要約：読み手が残りを理解するために必要な、主要な事実。
• 任意の詳細：段落またはリストで、見出しは使いません。
• リンクのセクション：それぞれ独自の第2レベルの見出しの下にあります。各項目はMarkdownのリンクで、必要に応じてコロンと短い補足が続きます。
• 任意のセクション：スペースが足りないときに読み手が省ける、副次的なリンク用。

# Acme Garden Supplies

> Seeds, tools and growing guides for small gardens.

## Guides

- [Starting seeds indoors](https://example.com/guides/seeds.md): Timing by zone

## Optional

- [Company history](https://example.com/about.md)

提案では、各ページのきれいなMarkdownのコピーを、同じアドレスに.mdを付けて提供し、llms.txtからそれらにリンクすることも勧めています。ジェネレーターは、すべてのリンクが完全なWebアドレスであること、見出しと要約が入っていることを確認します。

llms-full.txtとは

llms-full.txtは、多くのドキュメントサイトがllms.txtと並べて公開している、補助のファイルです。リンクの代わりに、すべてのページの全文を1つのファイルに収めているため、ツールが1回のリクエストですべてを読み込めます。提案自体の一部ではなく、よく使われる慣習です。ジェネレーターで「llms-full.txt」のオプションをオンにすると、各ページの見出しと出典アドレス付きのアウトラインが得られ、内容を貼り付けるだけで使えます。

学習、検索、ユーザー操作による取得

AI企業は現在、それぞれ複数のボットを運用しており、役割も異なります。1つをブロックしても、他はブロックされません。

• GPTBot、ClaudeBot、CCBot、Meta-ExternalAgentなどの学習用クローラーは、将来のモデルの学習に使われる可能性のあるページを収集します。ブロックすると、新しいコンテンツが将来の学習セットに入りません。すでに収集されたものは削除されません。
• Google-ExtendedやApplebot-Extendedなどの制御トークンは、独立したクローラーではありません。GoogleとAppleに、すでに検索用にクロールしているページを、AI学習に使ってよいかどうかを伝えます。ブロックしても、Google検索、Siri、Spotlightには影響しません。
• OAI-SearchBot、PerplexityBot、Claude-SearchBotなどの検索クローラーは、AI検索の回答が引用してリンクするインデックスを作ります。ブロックすると、サイトがそれらの回答から消える可能性があります。
• ChatGPT-UserやPerplexity-Userなどのユーザー操作による取得ツールは、人が尋ねたために、1つのページを訪問します。これらの取得ツールは、リクエストをしたのがクローラーではなく人であるため、robots.txtに従わない場合があると、複数の運営会社が述べています。

真ん中のプリセット「学習をブロック」は、モデルの学習には使われたくないが、AI検索には表示され続けたいサイトの、一般的な選択です。

チェッカーの判定のしかた

チェッカーは、Robots Exclusion Protocol（RFC 9309）に従います。Googleが自社のクローラー向けに文書化しているのと同じルールです：

• クローラーは、User-agentの行でそのクローラーの名前が挙がっているグループに、大文字小文字を区別せずに従います。複数のグループで名前が挙がっている場合は、それらのルールが組み合わされます。どれにも挙がっていない場合にだけ、User-agent: *グループにフォールバックします。
• パスに一致するルールのうち、最も長いものが優先されます。AllowとDisallowのルールが同じ長さの場合は、Allowが優先されます。
• *は任意の文字列に一致し、末尾の$は、そのパスがそこで終わる必要があることを意味します。Disallow: /*.pdf$はすべてのPDFをブロックしますが、/file.pdf?page=2はブロックしません。
• 空のDisallow:は何もブロックせず、/robots.txt自体は常に許可されます。

プライバシー

入力した内容が、この端末の外に出ることはありません。このページには背後のサーバーがなく、ファイルはブラウザが書き出し、メモリから直接ダウンロードされます。入力内容は、次回も残るように、このブラウザのストレージにのみ保存されます。いずれかのツールで「クリア」を使うと、削除できます。

よくある質問

robots.txtは本当にAIクローラーを止められますか？

大手の運営会社はボットについて文書を公開し、robots.txtに従うと明言していて、実際ほとんどが従っています。ただし、これはお願いであって鍵ではありません。行儀の悪いスクレイパーは無視できますし、ユーザー操作で動作する取得ツールの中には、無視する場合があると明言しているものもあります。ページを確実に非公開にするには、ログインの後ろに置いてください。

AIクローラーをブロックすると、Googleの検索順位に影響しますか？

いいえ。Google-ExtendedはAI学習のみを制御し、Googleはこれがランキングシグナルではないと述べています。ビルダーは、通常の検索を担うGooglebotやBingbotには一切触れません。

チェッカーがrobots.txtを自動で取得できないのはなぜですか？

ブラウザは、別のサイトが許可しない限り、あるサイトのページが別のサイトのファイルを読み取ることをブロックします。robots.txtファイルが許可していることはほとんどありません。これを回避するには、アドレスをサーバー経由で送ることになりますが、このツールにはサーバーがありません。コピーして貼り付けるだけなら数秒で済みます。

古いトークンのanthropic-aiとClaude-Webはブロックすべきですか？

運営会社の現在のドキュメントには、これらはもう載っておらず、ClaudeBot、Claude-User、Claude-SearchBotが記載されています。古い名前をブロックリストに残しても害はないため、「学習をブロック」プリセットでは残しています。

llms.txtは公式の標準ですか？

2024年に公開された提案で、多くのドキュメントサイトや開発者ツールが採用しています。大手のAI企業で読み取りを約束したところはまだないため、対応するツールの助けになる、手間のかからない追加設定として扱ってください。

クローラーの説明はどこから取得していますか？

それぞれ、運営会社が公開している公式ドキュメントに基づいており、2026年10月に確認しています。ボットとその名前は変わるため、1件の項目に頼る前に、運営会社のページを確認してください。