Farkında olmadan AI tarayıcılarını engelliyor olabilirsiniz
· Alper Batuhan Yılmaz
Bir markanın yapay zekâ cevaplarında hiç görünmemesinin en sık sebeplerinden biri, kimsenin bilerek almadığı bir karar: robots.txt dosyasının yapay zekâ tarayıcılarını engellemesi.
Bu hatanın sinsi tarafı belirti vermemesi. Google sıralamanız aynı kalır, trafiğiniz düşmez, panelde hiçbir uyarı çıkmaz. Yalnızca ChatGPT, Perplexity ya da Gemini bir soruya cevap verirken siz o cevabın içinde olmazsınız.
Nasıl oluyor da farkında olunmuyor?
robots.txt çoğu sitede elle yazılmıyor. Bir eklenti, tema ya da güvenlik katmanı ekliyor ve zamanla kimse dosyaya bakmıyor. Bazı güvenlik eklentileri "bot trafiğini azalt" başlığı altında yapay zekâ tarayıcılarını toplu hâlde engelliyor.
Bir dönem bunu bilerek yapan da çok oldu: içeriğin model eğitiminde kullanılmasını istemeyen yayıncılar engelledi. O karar meşru, ama sonucu şu: aynı engel, sizi cevaplarda anılmaktan da çıkarıyor. İkisi ayrı şeyler değil.
Hangi tarayıcı adlarına bakmalı?
Sitenizin adresinin sonuna /robots.txt ekleyip dosyayı açın ve aşağıdaki adları arayın. Bunlardan biri Disallow satırında geçiyorsa, o motorun tarafında görünmüyorsunuz demektir.
- GPTBot, OAI-SearchBot, ChatGPT-User — OpenAI
- ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai — Anthropic
- PerplexityBot, Perplexity-User — Perplexity
- Google-Extended — Google'ın üretken yüzeyleri (klasik aramadan ayrı)
- Applebot-Extended, Bingbot, Amazonbot, CCBot, cohere-ai, YouBot
Google-Extended özel bir durum
Google-Extended'ı engellemek, Google aramadaki sıralamanızı etkilemiyor. Bu ayrım kafa karıştırıcı olduğu için sık atlanıyor: klasik arama Googlebot ile tarıyor, üretken yüzeyler için ayrı bir izin var.
Yani Google-Extended engelliyken arama sonuçlarında hiçbir şey değişmez ama üretken cevaplarda kaynak olarak kullanılma ihtimaliniz düşer. Belirtisiz kaybın tipik örneği.
Engeli kaldırmak yeterli mi?
Hayır, sadece ön koşul. Engel kalktıktan sonra sayfalarınızın taranması ve dizine girmesi gerekiyor; ondan sonra da içeriğin bir soruya net cevap veriyor olması.
Ama sıralama şu: engel varken diğer hiçbir çalışmanın etkisi ölçülemez. Önce onu kaldırın, sonra ölçmeye başlayın.
Kaldırdıktan sonra ne olacağını nasıl bilirsiniz?
Tek yolu ölçmek. Aynı soruları düzenli aralıklarla farklı motorlara sorup cevapları karşılaştırmak, değişimi doğrulamanın tek yolu. Tek seferlik bir kontrol "düzeldi" demeye yetmiyor; modeller aynı soruya farklı zamanlarda farklı cevap verebiliyor.
Bu yüzden önce/sonra ölçümü olmadan yapılan "görünürlüğünüz arttı" iddiasına temkinli yaklaşın — bizimki de dâhil.