robots.txt Test Aracı
Sitenizin robots.txt dosyasını Google'ın kurallarıyla okuyun: Googlebot, Bingbot ve ChatGPT, Claude, Perplexity botları sitenizi tarayabiliyor mu, hangi satır engelliyor, crawl-delay Bing'i nasıl sınırlıyor? Ücretsiz, kayıt gerektirmez.
Araç neyi kontrol ediyor?
- Dosya durumu: HTTP kodu ve Google'ın bu koda nasıl davrandığı, yönlendirmeler, 500 KiB sınırı, metin yerine HTML dönmesi.
- 10 bot: klasik arama, AI arama ve AI eğitim botları için ana sayfa ve seçtiğiniz sayfa açık mı, kararı hangi satır veriyor.
- Crawl-delay: hangi botun desteklediği ve Bing için günlük sayfa üst sınırı.
- Yaygın hatalar: tüm siteyi engelleyen kural, CSS/JS engelleme, robots.txt içinde noindex, tanınmayan komutlar, user-agent'tan önce gelen kurallar.
- Platform: IdeaSoft, Shopify ve WordPress'in varsayılan dosyalarını tanır, ilgili rehbere yönlendirir.
Google robots.txt'i nasıl okur?
- Her bot yalnızca kendisine en özel eşleşen user-agent grubunu uygular; Googlebot için ayrı grup varsa "*" grubu Googlebot'a uygulanmaz.
- Grup içinde en uzun eşleşen kural kazanır; eşitlikte daha serbest olan (Allow) uygulanır.
*herhangi bir karakter dizisi,$adresin sonu demektir; yollar büyük/küçük harfe duyarlıdır.- Dosya 4xx dönerse Google kısıtlama yokmuş gibi davranır; 5xx dönerse ilk 12 saat taramayı durdurur.
İlgili rehberler
- robots.txt nasıl yazılır? Kurallar, örnekler, sık hatalar.
- AI botlarına erişim kontrolü Eğitim ve arama botlarını ayırmak.
- Crawl budget nedir? Tarama kaynağı nasıl harcanıyor.
- IdeaSoft SEO rehberi Varsayılan Crawl-delay: 30 ve Bing.
Sık sorulan sorular
robots.txt nasıl test edilir?
Site adresinizi yukarıdaki araca girin. Araç canlı robots.txt dosyanızı çeker, Google'ın kurallarına göre (en özel user-agent grubu, en uzun eşleşen kural) Googlebot, Bingbot ve yapay zeka botlarının siteyi tarayıp tarayamadığını ve kararı hangi satırın verdiğini gösterir. Belirli bir sayfayı test etmek için sayfa yolunu da yazabilirsiniz.
Google Search Console'da robots.txt test aracı var mı?
Eski robots.txt Test Aracı Search Console'dan kaldırıldı. Yerine gelen robots.txt raporu, Google'ın sitenizde bulduğu robots.txt dosyalarını, son tarama zamanını ve hata/uyarıları gösterir; ama belirli bir URL'yi farklı botlar için test etmez. Bu araç o boşluğu doldurur.
Crawl-delay Google'da çalışır mı?
Hayır. Google robots.txt dokümanında crawl-delay alanını desteklemediğini açıkça yazıyor. Bing ise destekliyor: Bing'in açıklamasına göre değer, Bingbot'un en fazla bir sayfa alacağı zaman aralığıdır. 30 saniyelik bir değer Bingbot'u günde en fazla 2.880 sayfayla sınırlar.
GPTBot'u engellersem ChatGPT aramasından çıkar mıyım?
OpenAI'ın dokümanına göre hayır. GPTBot model eğitimi için içerik toplar; ChatGPT arama sonuçlarında gösterilmek için çalışan bot OAI-SearchBot'tur. Benzer şekilde Anthropic'te ClaudeBot eğitim, Claude-SearchBot arama botudur. Google-Extended'ı engellemek ise Google Arama'yı ve AI Bakışı'nı etkilemez.
robots.txt bir sayfayı Google dizininden çıkarır mı?
Hayır. robots.txt taramayı engeller, dizine eklemeyi değil. Engellenen bir sayfa başka sitelerden bağlantı alıyorsa açıklamasız olarak dizinde görünebilir. Sayfayı dizinden çıkarmak için sayfada noindex meta etiketi kullanılır ve bu etiketin görülebilmesi için sayfanın robots.txt ile engellenmemesi gerekir.
robots.txt sorunu taramayı ve dizini etkiliyorsa
Engellenen sayfaların, tarama bütçesinin ve dizin durumunun birlikte incelenmesi gerekiyorsa teknik SEO denetimi kapsamında sitenizin tamamına bakıyoruz. Tek bir sayfanın genel SEO durumunu görmek için SEO analiz aracımızı da kullanabilirsiniz.