Bir llms.txt dosyası yapın, doğrudan tarayıcınızda

Adı, tek satırlık bir özeti ve ana bağlantılarınızı doldurun, siz yazdıkça dosyanın oluştuğunu izleyin ve yüklemeye hazır indirin.

Her şey bu sayfada çalışır, kayıt yok.

Bu araçlar ne yapar

Yapay Zeka Tarayıcı Araçları, yapay zeka sistemlerinin bir web sitesine nasıl davranacağını belirleyen iki düz metin dosyasını kapsar. llms.txt bir davettir: dil modelleri ve onların üzerine kurulu araçlar için yazılmış, en yararlı sayfalarınıza kısa bir Markdown kılavuzu. robots.txt kapı bekçisidir: her tarayıcıya sitenin hangi bölümlerini getirebileceğini söyler. Oluşturucu birincisini yazar, kurucu ikincisini yazar ve denetleyici herhangi bir robots.txt'yi bir tarayıcı gibi okur.

llms.txt nasıl düzenlenir

Biçim, llmstxt.org'daki llms.txt önerisinden gelir. Dosya sitenin kökünde, /llms.txt adresindedir ve insanlar ve programlar tarafından kolay okunsun diye sabit bir sıra kullanır:

• Site veya proje adıyla bir başlık. Bu tek zorunlu kısımdır.
• Bir okuyucunun geri kalanını anlaması için gereken temel gerçeklerle alıntılanmış bir özet.
• İsteğe bağlı ayrıntılar: paragraflar veya listeler, ancak başlık yok.
• Bağlantı bölümleri, her biri kendi ikinci düzey başlığı altında. Her öğe bir Markdown bağlantısıdır ve isteğe bağlı olarak iki nokta ve kısa bir not gelir.
• Yer darlığında okuyucunun atlayabileceği ikincil bağlantılar için İsteğe bağlı bir bölüm.

# Acme Garden Supplies

> Seeds, tools and growing guides for small gardens.

## Guides

- [Starting seeds indoors](https://example.com/guides/seeds.md): Timing by zone

## Optional

- [Company history](https://example.com/about.md)

Öneri ayrıca her sayfanın temiz bir Markdown kopyasını aynı adreste .md eklenmiş olarak sunmayı ve llms.txt'den bu kopyalara bağlantı vermeyi önerir. Oluşturucu, her bağlantının tam bir web adresi olduğunu ve başlık ile özetin yerinde olduğunu kontrol eder.

llms-full.txt nedir

llms-full.txt, birçok dokümantasyon sitesinin llms.txt'nin yanında yayımladığı tamamlayıcı bir dosyadır. Bağlantılar yerine her sayfanın tam metnini tek dosyada tutar, böylece bir araç her şeyi tek istekte yükleyebilir. Önerinin kendisinin parçası değil, yaygın bir gelenektir. İçeriği yapıştırmanız için her sayfa için başlık ve kaynak adresli bir taslak almak üzere oluşturucuda llms-full.txt seçeneğini açın.

Eğitim, arama ve kullanıcı getiriciler

Yapay zeka şirketleri artık her biri birkaç bot çalıştırıyor ve farklı işler yapıyorlar. Birini engellemek diğerlerini engellemez.

• Eğitim tarayıcıları, GPTBot, ClaudeBot, CCBot ve Meta-ExternalAgent gibi, gelecekteki modelleri eğitmek için kullanılabilecek sayfaları toplar. Onları engellemek yeni içeriği gelecekteki eğitim kümelerinin dışında tutar. Zaten toplanmış hiçbir şeyi kaldırmaz.
• Denetim token'ları, Google-Extended ve Applebot-Extended gibi, ayrı tarayıcılar değildir. Google'a ve Apple'a, aramaya zaten taradıkları sayfaların yapay zeka eğitimi için kullanılıp kullanılamayacağını söyler. Onları engellemek Google Arama'yı, Siri'yi veya Spotlight'ı etkilemez.
• Arama tarayıcıları, OAI-SearchBot, PerplexityBot ve Claude-SearchBot gibi, yapay zeka arama cevaplarının alıntıladığı ve bağlantı verdiği dizinleri oluşturur. Onları engellemek sitenizin o cevaplardan kaybolmasına neden olabilir.
• Kullanıcı tetiklemeli getiriciler, ChatGPT-User ve Perplexity-User gibi, bir kişi hakkında sorduğu için tek bir sayfayı ziyaret eder. Birçok işletmeci, isteği bir tarayıcı değil bir kişi yaptığı için bu getiricilerin robots.txt'yi izlemeyebileceğini söyler.

Ortadaki hazır ayar, Eğitimi engelle, model eğitimini beslemeden yapay zeka aramasında görünür kalmak isteyen siteler için olağan seçimdir.

Denetleyici nasıl karar verir

Denetleyici, Google'ın kendi tarayıcıları için belgelediği aynı kurallar olan Robot Dışlama Protokolü RFC 9309'u izler:

• Bir tarayıcı, User-agent satırı onu adlandıran grubun kuralına uyar; büyük küçük harf gözetilmeden karşılaştırılır. Birkaç grup onu adlandırırsa kuralları birleştirilir. Hiçbiri adlandırmazsa User-agent: * grubuna döner.
• Yolla eşleşen kurallar arasında en uzun olan kazanır. Bir Allow ve bir Disallow kuralı aynı uzunlukta olduğunda Allow kazanır.
• * herhangi bir karakter dizisiyle eşleşir ve sondaki $ yolun orada bitmesi gerektiği anlamına gelir. Disallow: /*.pdf$ her PDF'yi engeller ama /file.pdf?page=2'yi değil.
• Boş bir Disallow: hiçbir şeyi engellemez ve /robots.txt her zaman izinlidir.

Gizlilik

Yazdığınız hiçbir şey bu cihazdan çıkmaz. Sayfanın arkasında sunucu yoktur: dosyalar tarayıcınız tarafından yazılır ve doğrudan bellekten indirilir. Girişleriniz bu tarayıcının depolamasında tutulur, bu yüzden bir sonraki sefer hâlâ buradadır ve başka hiçbir yerde değil. Kaldırmak için herhangi bir araçta Temizle'yi kullanın.

Sorular

robots.txt yapay zeka tarayıcılarını gerçekten durdurur mu?

Büyük işletmeciler botlarını belgeler ve robots.txt'i izlediklerini söyler, çoğu da izler. Bu bir istektir, kilit değildir: kötü davranan bir kazıyıcı onu yok sayabilir ve bazı kullanıcı tetiklemeli getiriciler bunu açıkça yapabileceklerini söyler. Sayfaları gerçekten gizli tutmak için bir girişin arkasına koyun.

Yapay zeka tarayıcılarını engellemek Google sıralamama zarar verir mi?

Hayır. Google-Extended yalnızca yapay zeka eğitimini denetler ve Google bunun bir sıralama sinyali olmadığını belirtir. Oluşturucu, normal aramaya hizmet eden Googlebot veya Bingbot'ye asla dokunmaz.

Denetleyici robots.txt dosyamı neden kendi başına getiremiyor?

Tarayıcılar, bir sitedeki sayfanın başka bir sitedeki dosyaları okumasını o site izin vermedikçe engeller; robots.txt dosyaları buna neredeyse hiç izin vermez. Bunu aşmak adresinizi bir sunucudan geçirmek anlamına gelir ve bu aracın sunucusu yok. Kopyala yapıştır birkaç saniye sürer.

Eski anthropic-ai ve Claude-Web token'larını engellemeli miyim?

Artık işletmecinin güncel belgelerinde yer almıyorlar; belgelerde ClaudeBot, Claude-User ve Claude-SearchBot listelenir. Eski adları engelleme listesinde bırakmak zarar vermez, bu yüzden Eğitimi engelle hazır ayarı onları korur.

llms.txt resmi bir standart mı?

2024'te yayımlanan ve birçok belge sitesi ile geliştirici aracı tarafından benimsenen bir öneridir. Hiçbir büyük yapay zeka şirketi onu okuyacağına söz vermedi, bu yüzden onu okuyan araçlara yardımcı olan düşük maliyetli bir ek olarak görün.

Tarayıcı açıklamaları nereden geliyor?

Her biri, işletmecinin kendi yayımladığı belgelere dayanır ve Ekim 2026'da kontrol edilmiştir. Botlar ve adları değişir, bu yüzden tek bir girişe güvenmeden önce işletmecinin sayfasını kontrol edin.