Pilih crawler AI mana yang boleh membaca situs Anda

Centang yang akan diblokir, atau mulai dari preset, dan dapatkan aturan robots.txt yang bisa ditempel ke file Anda saat ini.

Semuanya berfungsi di halaman ini, tanpa pendaftaran.

Fungsi alat ini

Alat Crawler AI mencakup dua file teks biasa yang menentukan bagaimana sistem AI memperlakukan situs web. llms.txt adalah undangan: panduan Markdown singkat ke halaman Anda yang paling berguna, ditulis untuk model bahasa dan alat yang dibangun di atasnya. robots.txt adalah penjaga gerbang: memberi tahu setiap crawler bagian situs mana yang boleh diambilnya. Pembuat menulis yang pertama, builder menulis yang kedua, dan pemeriksa membaca robots.txt apa pun seperti yang dilakukan crawler.

Bagaimana llms.txt ditata

Formatnya berasal dari usulan llms.txt di llmstxt.org. File berada di root situs, di /llms.txt, dan memakai urutan tetap agar mudah dibaca orang dan program:

• Judul dengan nama situs atau proyek. Ini satu-satunya bagian yang wajib.
• Ringkasan bertanda kutip dengan fakta kunci yang dibutuhkan pembaca untuk memahami sisanya.
• Detail opsional: paragraf atau daftar, tetapi tanpa judul.
• Bagian tautan, masing-masing di bawah judul tingkat kedua sendiri. Setiap item adalah tautan Markdown, opsional diikuti titik dua dan catatan singkat.
• Bagian Opsional untuk tautan sekunder yang bisa dilewati pembaca saat ruang terbatas.

# Acme Garden Supplies

> Seeds, tools and growing guides for small gardens.

## Guides

- [Starting seeds indoors](https://example.com/guides/seeds.md): Timing by zone

## Optional

- [Company history](https://example.com/about.md)

Usulan ini juga menyarankan menyediakan salinan Markdown bersih dari setiap halaman di alamat yang sama dengan .md ditambahkan, dan menautkan ke salinan itu dari llms.txt. Pembuat memeriksa bahwa setiap tautan adalah alamat web lengkap dan judul serta ringkasan sudah ada.

Apa itu llms-full.txt

llms-full.txt adalah file pendamping yang diterbitkan banyak situs dokumentasi di samping llms.txt. Alih-alih tautan, berisi teks lengkap setiap halaman dalam satu file, sehingga alat bisa memuat semuanya dalam satu permintaan. Ini konvensi umum, bukan bagian dari usulan itu sendiri. Aktifkan opsi llms-full.txt di pembuat untuk mendapatkan kerangka dengan judul dan alamat sumber untuk setiap halaman, siap Anda tempel isinya.

Pelatihan, pencarian, dan fetcher pengguna

Perusahaan AI kini menjalankan beberapa bot masing-masing, dan tugasnya berbeda. Memblokir satu tidak memblokir yang lain.

• Crawler pelatihan seperti GPTBot, ClaudeBot, CCBot, dan Meta-ExternalAgent mengumpulkan halaman yang mungkin dipakai untuk melatih model di masa depan. Memblokirnya menjaga konten baru dari kumpulan pelatihan mendatang. Tidak menghapus apa pun yang sudah dikumpulkan.
• Token kontrol seperti Google-Extended dan Applebot-Extended bukan crawler terpisah. Keduanya memberi tahu Google dan Apple apakah halaman yang sudah mereka rayapi untuk pencarian boleh dipakai untuk pelatihan AI. Memblokirnya tidak memengaruhi Google Search, Siri, atau Spotlight.
• Crawler pencarian seperti OAI-SearchBot, PerplexityBot, dan Claude-SearchBot membangun indeks yang dikutip dan ditautkan oleh jawaban pencarian AI. Memblokirnya bisa membuat situs Anda hilang dari jawaban itu.
• Fetcher yang dipicu pengguna seperti ChatGPT-User dan Perplexity-User mengunjungi satu halaman karena seseorang menanyakannya. Beberapa operator menyatakan fetcher ini mungkin tidak mengikuti robots.txt, karena seseorang, bukan crawler, yang membuat permintaan.

Preset tengah, Blokir pelatihan, adalah pilihan umum untuk situs yang ingin tetap terlihat di pencarian AI tanpa memberi makan pelatihan model.

Cara pemeriksa memutuskan

Pemeriksa mengikuti Robots Exclusion Protocol, RFC 9309, aturan yang sama yang didokumentasikan Google untuk crawler-nya sendiri:

• Crawler menaati grup yang baris User-agent-nya menyebut namanya, dibandingkan tanpa memedulikan huruf besar-kecil. Jika beberapa grup menyebutnya, aturannya digabungkan. Hanya jika tidak ada, ia kembali ke grup User-agent: *.
• Di antara aturan yang cocok dengan path, yang paling panjang menang. Jika aturan Allow dan Disallow sama panjang, Allow menang.
• * cocok dengan rangkaian karakter apa pun, dan $ di akhir berarti path harus berakhir di situ. Disallow: /*.pdf$ memblokir semua PDF tetapi bukan /file.pdf?page=2.
• Disallow: yang kosong tidak memblokir apa pun, dan /robots.txt itu sendiri selalu diizinkan.

Privasi

Tidak ada yang Anda ketik meninggalkan perangkat ini. Halaman ini tidak punya server di baliknya: file ditulis oleh browser Anda dan diunduh langsung dari memori. Isian Anda disimpan di penyimpanan browser ini agar masih ada lain kali, dan tidak di tempat lain. Gunakan Hapus di alat mana pun untuk menghapusnya.

Pertanyaan

Apakah robots.txt benar-benar menghentikan crawler AI?

Operator besar mendokumentasikan bot mereka dan menyatakan mengikuti robots.txt, dan sebagian besar memang begitu. Ini permintaan, bukan kunci: scraper yang nakal bisa mengabaikannya, dan beberapa fetcher yang dipicu pengguna menyatakan terbuka bahwa mereka mungkin melakukannya. Untuk benar-benar menjaga halaman tetap privat, taruh di balik login.

Apakah memblokir crawler AI merusak peringkat Google saya?

Tidak. Google-Extended hanya mengatur pelatihan AI dan Google menyatakan itu bukan sinyal peringkat. Builder ini tidak pernah menyentuh Googlebot atau Bingbot, yang melayani pencarian biasa.

Mengapa pemeriksa tidak bisa mengambil robots.txt saya sendiri?

Browser memblokir halaman di satu situs agar tidak membaca file di situs lain kecuali situs itu mengizinkan, yang hampir tidak pernah dilakukan file robots.txt. Menyiasatinya berarti mengirim alamat Anda lewat server, dan alat ini tidak punya server. Salin dan tempel hanya butuh beberapa detik.

Haruskah saya memblokir token lama anthropic-ai dan Claude-Web?

Keduanya tidak lagi muncul di dokumentasi operator saat ini, yang mencantumkan ClaudeBot, Claude-User, dan Claude-SearchBot. Membiarkan nama lama di daftar blokir tidak merugikan, jadi preset Blokir pelatihan tetap menyertakannya.

Apakah llms.txt standar resmi?

Ini usulan, dipublikasikan pada 2024 dan dipakai banyak situs dokumentasi dan alat developer. Belum ada perusahaan AI besar yang berjanji membacanya, jadi anggap ini tambahan berbiaya rendah yang membantu alat yang membacanya.

Dari mana deskripsi crawler berasal?

Masing-masing didasarkan pada dokumentasi yang dipublikasikan operatornya sendiri, diperiksa pada Oktober 2026. Bot dan namanya berubah, jadi periksa halaman operator sebelum mengandalkan satu entri.