Kısa cevap: arama botlarını açık tut, eğitim botlarını istersen kapat. Ama önce hangi botun ne iş yaptığını bilmen gerekiyor, çünkü aynı şirketin birden fazla botu var ve her birinin görevi farklı. Bu yazıda OpenAI, Anthropic, Perplexity, Google ve Apple'ın resmî belgelerinde yazanı sadeleştirdim. Tarihi 10 Ekim 2026; botlar ve belgeler değişebilir, kural eklemeden önce linklerdeki güncel sayfaya bak.
Üç tür bot var
Şirketler botlarını genelde üç göreve ayırıyor:
- Eğitim botu: İçeriğini modelleri eğitmek için toplar. Kapatırsan içeriğin gelecekteki eğitim verisinden çıkarılması istenmiş olur.
- Arama botu: Sitenin yapay zekâ aramasında gösterilmesi için sayfaları tarar ve dizine alır. Kapatırsan bu aramalarda görünürlüğün düşebilir.
- Kullanıcı botu: Biri sohbet robotuna bir soru sorduğunda, o an senin sayfanı açıp okur. Kendi başına gezmez, kullanıcı istediği için gelir.
Hangi bot ne yapıyor?
| Şirket | Bot | Görevi | robots.txt notu |
|---|---|---|---|
| OpenAI | GPTBot | Eğitim | Engellersen içeriğin eğitimde kullanılmaması istenmiş olur. |
| OpenAI | OAI-SearchBot | Arama (ChatGPT araması) | Engellersen ChatGPT arama cevaplarında çıkmazsın; değişikliğin işlemesi yaklaşık 24 saat sürebilir. |
| OpenAI | ChatGPT-User | Kullanıcı isteği | Kullanıcı başlattığı için robots.txt kuralları geçerli olmayabilir, diyor OpenAI. |
| Anthropic | ClaudeBot | Eğitim | Engellersen gelecekteki içerik eğitim verisi dışında kalır. |
| Anthropic | Claude-SearchBot | Arama sonuçlarının kalitesi | Engellersen içerik arama için dizine alınmaz. |
| Anthropic | Claude-User | Kullanıcı isteği | Engellersen Claude kullanıcı sorularında sayfanı getiremez. |
| Perplexity | PerplexityBot | Arama (Perplexity sonuçları) | Perplexity, bu botun yapay zekâ temel modellerini eğitmek için kullanılmadığını söylüyor. |
| Perplexity | Perplexity-User | Kullanıcı isteği | Perplexity bu botun robots.txt kurallarını genellikle yok saydığını yazıyor. |
| Google-Extended | Gemini eğitimi ve Gemini'de dayanak (grounding) kullanımı | Ayrı bir robots.txt jetonu. Google Arama'da yer almanı ve sıralamayı etkilemiyor. | |
| Apple | Applebot-Extended | Apple'ın genel amaçlı modellerinin eğitimi | Kendisi sayfa taramıyor; yalnızca Applebot'un topladığı verinin nasıl kullanılacağını belirliyor. |
Google ve Apple için ince nokta
Google-Extended ayrı bir bot değil. Google'ın belgesine göre kendi kullanıcı ajanı dizesi yok; Google mevcut ajanlarıyla tarıyor, jeton yalnızca kontrol için kullanılıyor. Yani Google-Extended'ı kapatmak Googlebot'u kapatmaz. Arama tarafında belirleyici olan Googlebot'tur; Google-Extended'ı engellemek aramadaki yerini etkilemiyor.
Apple'da da benzer bir ayrım var. Applebot Spotlight, Siri ve Safari araması için tarıyor. Applebot-Extended'ı engellemek aramada görünmeni etkilemiyor, Apple bunu belgesinde açıkça yazıyor. Applebot için ayrı bir kural yazmazsan Apple'a göre Googlebot kurallarını izliyor.
Perplexity-User ve ChatGPT-User gibi kullanıcı botlarında robots.txt'in sınırı var. Bu botlar kullanıcı istediği için geliyor ve şirketler kuralların her zaman geçerli olmayacağını söylüyor. Bir sayfayı gerçekten kapatmak istiyorsan robots.txt yetmez; sunucu tarafında erişimi kısıtlaman gerekir. Cloudflare gibi bir katman kullanıyorsan bu konudaki yazımıza bak.
Örnek 1: Hepsine açık
Hiçbir şeyi engellemek istemiyorsan ayrıca bir şey yazmana gerek yok. Boş bir Disallow her şeye izin verir:
- User-agent: *
- Disallow:
Sitemap'in adresini de aynı dosyaya eklemek iyi bir alışkanlık.
Örnek 2: Eğitim kapalı, arama açık
Çoğu işletme için mantıklı olan bu: yapay zekâ aramasında görünmek, ama içeriğin model eğitiminde kullanılmasını istememek.
- User-agent: GPTBot
- Disallow: /
- User-agent: ClaudeBot
- Disallow: /
- User-agent: Google-Extended
- Disallow: /
- User-agent: Applebot-Extended
- Disallow: /
- User-agent: OAI-SearchBot
- Allow: /
- User-agent: Claude-SearchBot
- Allow: /
- User-agent: PerplexityBot
- Allow: /
Not: Bu, eğitim botlarının kuralına uyduğu varsayımına dayanır. Anthropic botlarının robots.txt'e uyduğunu belgesinde yazıyor. Diğer şirketlerin uyumunu kendin doğrulayamazsın; sunucu kayıtlarına bakarak izleyebilirsin.
Örnek 3: Yalnızca bir yolu kapat
Bazen tek bir klasörü kapatmak istersin, örneğin fiyat listesi arşivini:
- User-agent: *
- Disallow: /arsiv/
Bu kural ayrı bir grubu olmayan tüm botlara işler. Aşağıdaki tuzak tam burada devreye giriyor.
Grup kuralı tuzağı
Google'ın robots.txt belgesine göre bir tarayıcı yalnızca tek bir grubu kullanır: kendi adına en uygun olanı. Diğer gruplar yok sayılır. Belge ayrıca şunu söylüyor: belirli bir kullanıcı ajanı grubu ile genel (*) grup birleştirilmez.
Bunun sonucu şu. Yukarıdaki Örnek 3'teki gibi * grubunda /arsiv/'i kapattın diyelim. Sonra GPTBot için ayrı bir grup açıp yalnızca /ozel/'i yazdın. GPTBot artık yalnızca kendi grubunu okur; /arsiv/ kuralı ona işlemez. Kapattığını sandığın klasörü açmış olursun.
Çözüm: bota ayrı grup açıyorsan, o bota uygulanmasını istediğin tüm kuralları o grubun içine de yaz. Aynı bot için birden fazla grup varsa Google bunları tek grupta birleştiriyor; ama farklı botları ya da * grubunu birleştirmiyor.
Bu davranış Google'ın belgesinde yazılı. OpenAI, Anthropic, Perplexity ve Apple'ın kendi belgelerinde grup birleştirmeyle ilgili ayrı bir açıklama bulamadım; yine de standart davranış bu olduğu için aynı mantıkla yazmanı öneririm.
Yazdıktan sonra kontrol et
- robots.txt'ini seninsiten.com/robots.txt adresinde tarayıcıda aç ve görünmesini sağla.
- Google'a göre user-agent alanı ve değeri büyük/küçük harfe duyarsız; ama kural yolları duyarlı.
- Bot adını resmî belgeden kopyala; yazım hatası kuralı etkisiz yapar.
- Her alt alan adı için ayrı dosya gerekir; Anthropic bunu açıkça belirtiyor.
- Hosting ya da Cloudflare gibi bir katman botu sunucu seviyesinde engelliyorsa, robots.txt izin verse bile bot giremez. Ücretsiz site kontrolü aracımıza da bakabilirsin.
Görünürlüğünün bu değişikliklerden sonra ne olduğunu ölçmek istersen markan ChatGPT'de geçiyor mu yazısındaki testi uygulayabilir, genel hazırlık için site hazırlığı rehberine bakabilirsin.
Gözlem, yorum, tahmin
- Belgelerde yazan: Yukarıdaki tablodaki görevler ve kısıtlar şirketlerin kendi sayfalarından.
- Yorum: Küçük bir işletme için eğitim botlarını kapatıp arama botlarını açık tutmak makul bir denge. Arama botlarını kapatmak görünürlüğü düşürebilir.
- Bilmediklerimiz: Eğitim botunu kapatmanın geçmişte toplanmış veriyi silip silmediği belgelerde net değil. Bot listeleri de sık değişiyor; yeni bot çıkabilir.