Siten Cloudflare arkasındaysa, robots.txt dosyan yapay zekâ botlarına izin verse bile bazı botlar siteye giremiyor olabilir. Sebebi robots.txt'in bir istek, Cloudflare'in engelinin ise bir kural olması. Bu yazıda Cloudflare'in resmî belgelerine ve blog duyurularına dayanarak ayarların ne olduğunu, varsayılanların nasıl değiştiğini ve nasıl kontrol edeceğini anlatıyorum. Cloudflare bu ayarları 2026 boyunca birkaç kez değiştirdi. Bu yazının bilgisi 10 Ekim 2026 itibarıyladır; panelinde gördüğün ekran farklıysa panel doğrudur.
İki ayrı mekanizma var
robots.txt botlara "buraya girme" diyen bir dosyadır. Uymak botun isteğine bağlı. Cloudflare'in kendi belgesi de bunu söylüyor: robots.txt uyumu gönüllüdür, engeli gerçekten uygulatmak için AI Crawl Control kullanılması öneriliyor.
Cloudflare engeli ise isteğin sana ulaşmadan kesilmesidir. Cloudflare'in AI Crawl Control belgesine göre bir tarayıcıyı engellediğinde bölgen için bir WAF özel kuralı oluşturuluyor veya güncelleniyor. Bu kural robots.txt dosyanda ne yazdığına bakmaz.
Yani şu durum mümkün: robots.txt'inde GPTBot ya da OAI-SearchBot'a izin veriyorsun, ama Cloudflare ayarı o botu engelliyor. Bot dosyayı okusa bile siteye giremez. Bu robots.txt rehberindeki ayarı boşa çıkarır.
Cloudflare'de hangi ayarlar var?
AI Crawl Control
Eski adı AI Audit. Belgesine göre tüm Cloudflare planlarında kullanılabiliyor. Hangi yapay zekâ tarayıcılarının siteni ziyaret ettiğini gösteren bir panel sunuyor; her tarayıcıya tek tek izin ver ya da engelle diyebiliyorsun. Pay per crawl denen ödeme özelliği ise belgede özel beta (private beta) olarak geçiyor.
Block AI bots (eski ayar)
Güvenlik ayarlarında duran tek anahtar. Belgesine göre yapay zekâ eğitimi için tarama yapan doğrulanmış botları engelliyordu. Cloudflare bu ayarın 15 Eylül 2026'da kullanımdan kalktığını yazdı.
Managed robots.txt (yönetilen robots.txt)
Cloudflare'in senin robots.txt dosyana yapay zekâ botları için kural eklediği özellik. Cloudflare dosyan varsa kendi bölümünü başa ekliyor; dosyan yoksa yapay zekâ botlarına Disallow kuralları içeren yeni bir dosya oluşturuyor. 15 Eylül 2026 duyurusuna göre bu özellik de kullanımdan kalkıyor ve yerini Bot Preference Sync alıyor.
Search, Agent, Training ayarları
Cloudflare 1 Temmuz 2026'da tüm müşterilere, Ücretsiz plan dahil, yapay zekâ trafiğini üç kategoride yönetme seçeneği getirdi:
- Search: içeriğini sonradan soruları cevaplamak için toplayan ve dizine alan botlar.
- Agent: bir kişi adına, çoğunlukla anlık çalışan otomatik davranış; sohbet robotlarının sayfa getirmesi gibi.
- Training: içeriğini model eğitmek ya da ince ayar yapmak için alan tarayıcılar.
Her biri için "izin ver", "reklam olan sayfalarda engelle" ya da "tüm sayfalarda engelle" seçilebiliyor. Training için 15 Eylül 2026'dan itibaren dördüncü bir seçenek var: "Disallow AI Training". Bu seçenek robots.txt'ine eğitim istemiyorum bilgisini yazıyor ve Cloudflare'in "Accountable" (hesap verebilir) saydığı karma amaçlı tarayıcıların arama için gelmesine izin veriyor.
Varsayılanlar ne?
Tarihleri ve kapsamı ayrı ayrı yazıyorum, çünkü haberlerde karışıyor.
| Tarih | Ne oldu | Kimi etkiliyor |
|---|---|---|
| 1 Temmuz 2025 | Cloudflare yapay zekâ tarayıcılarını, içerik sahibine ödeme yapmadıkça engellemeyi varsayılan yaptığını duyurdu. Cloudflare'in sonraki yazısı bunu şöyle özetliyor: yeni alan adlarında yapay zekâ eğitim tarayıcıları varsayılan olarak engellenecek. | Yeni alan adları |
| 1 Temmuz 2026 | Search, Agent, Training kategorileri tüm müşterilere açıldı. | Mevcut müşteriler panelden ayarlayabilir |
| 15 Eylül 2026 | Yeni alan adları için güncel varsayılanlar devreye girdi. Cloudflare'in yazısına göre sunulan iki hazır ayardan biri reklamla gelir kazanmayan siteler (Search, Training, Agent hepsi açık), diğeri reklamlı siteler (Search açık, Training "Disallow AI Training", Agent reklamlı sayfalarda engelli). Block AI bots ve Managed robots.txt kullanımdan kalktı. | Yeni alan adları; mevcut ayarlar çoğu durumda otomatik taşındı |
Yani "yeni bir alan adında varsayılan engel var mı?" sorusunun cevabı: evet, bir tür engel var, ama hangisi olduğu sitenin reklamla gelir kazanıp kazanmadığına bağlı. Reklam gelirin yoksa Cloudflare'in 15 Eylül sonrası hazır ayarında hepsi açık. Reklamlı sayfalarda ise eğitim ve ajan botları kısıtlı, arama açık.
Mevcut sitelerde ne oldu? Cloudflare'e göre bu bölgelerin ayarı eski Block AI bots ayarına bakılarak taşındı: o ayar kapalıysa üç kategori de "izin ver" oldu; açıksa Search izinli, Training "Disallow AI Training", Agent reklamlı sayfalarda engelli. Cloudflare "çoğu durumda mevcut ayarlar kendiliğinden taşınır" diyor. Hesabında farklı bir sonuç görüyorsan Cloudflare destek belgesine bak.
Googlebot da engellenir mi?
Bu en çok merak edilen soru. Cloudflare'in 1 Temmuz 2026 yazısı, Search ve Training'i birlikte yapan tarayıcıların (Googlebot, Applebot, Bingbot örnek veriliyor) tüm davranışlarına göre değerlendirildiğini, Training'i engelleyen birinin bu tarayıcıları da engelleyebileceğini yazıyor.
15 Eylül 2026 yazısı durumu netleştirmiş: "Disallow AI Training" seçersen Googlebot arama için gelmeye devam ediyor; ama Training'de "Block" ya da "reklamlı sayfalarda engelle" seçersen karma amaçlı tarayıcılar da kapıdan dönüyor ve Cloudflare'e göre bu Googlebot, Applebot ve Bingbot'u arama dahil engelliyor. Eğitimi kapatıp arama görünürlüğünü korumak istiyorsan doğru seçim "Disallow AI Training".
Not: Cloudflare'in Block AI bots belgesi 1 Temmuz 2026 tarihli ve eski kuralı anlatıyor; 15 Eylül yazısıyla çelişen kısımlarda yeni yazı geçerli. Bazı sitelerde Googlebot'a 403 döndüğüne dair haberler çıktı; bunların Cloudflare ayarından mı yoksa yanlış yapılandırmadan mı kaynaklandığını doğrulayamadım, bu yüzden burada bir sonuca varmıyorum.
Nasıl kontrol edersin?
- Cloudflare panelinde alan adını seç, AI Crawl Control bölümünü aç. Crawlers sekmesinde hangi botun izinli, hangisinin engelli olduğunu görürsün.
- Güvenlik ayarlarında Configure AI bot policies (yapay zekâ bot politikaları) bölümüne bak: Search, Agent ve Training için ne seçili?
- AI Crawl Control'ün Directives sekmesindeki robots.txt ihlalleri tablosu, dosyanda kapattığın yollara istek atan botları listeliyor. Aynı sekmedeki "robots.txt availability" tablosu, dosyana gelen isteklerin kaç tanesinin başarısız olduğunu gösteriyor; belge yüksek sayıda başarısızlıkta WAF ya da güvenlik kurallarına bakmayı öneriyor.
- Başka güvenlik kuralların (WAF, hız sınırlama) botları ayrıca kesiyor olabilir. Bunları ayrıca gözden geçir. Bu madde belgelerdeki bir öneriden çok kendi gözlemimdir.
- Ücretsiz site kontrolü aracımızı da çalıştırabilirsin.
Ne yapmalısın?
- Önce ne istediğine karar ver: yapay zekâ aramasında görünmek mi (Search), eğitime kapalı olmak mı (Training), sohbet robotlarının anlık sayfa okuması mı (Agent)?
- Görünür olmak istiyorsan Search'ü izinli bırak. Eğitimi kapatmak istiyorsan "Disallow AI Training"i tercih et; tam engeli seçmeden önce arama botlarının da kapanacağını bil.
- robots.txt'i ve Cloudflare ayarını birbirine uyumlu tut. İkisi çelişirse engel kazanır.
- Değişiklikten sonra bir süre bekle ve ChatGPT'de markanın geçip geçmediğini yeniden test et. Etkinin ne zaman görüleceğine dair bir süre garantisi yok; OpenAI robots.txt değişikliklerinin işlemesinin yaklaşık 24 saat sürebileceğini yazıyor.
Gözlem, yorum, tahmin
- Belgelerde yazan: Kategoriler, tarihler, varsayılanlar ve seçenek adları Cloudflare'den.
- Yorum: Küçük işletme sitelerinin çoğu için sorun reklam değil, "sessiz engel": kimse bilerek kapatmadığı halde botlar giremiyor.
- Doğrulanamadı: Hangi hesaplarda hangi ayarın fiilen açık olduğu, Googlebot'a dönen 403 raporlarının nedeni ve Cloudflare dışındaki CDN'lerin davranışı.
Kaynaklar
- Cloudflare Blog: Content Independence Day (1 Temmuz 2025)
- Cloudflare Blog: Content Independence Day, one year on (1 Temmuz 2026)
- Cloudflare Blog: Your site, your rules: new AI traffic options for all customers (1 Temmuz 2026)
- Cloudflare Blog: Have it both ways (15 Eylül 2026)
- Cloudflare Docs: AI Crawl Control
- Cloudflare Docs: Manage AI crawlers
- Cloudflare Docs: Track robots.txt
- Cloudflare Docs: Block AI bots
- Cloudflare Docs: Managed robots.txt
- OpenAI: Overview of OpenAI crawlers