Yapay Zeka Botları ve robots.txt: Erişim Kontrolü [2026]

GPTBot'u engelleyen bir site ChatGPT aramasından da çıkar mı? Pek çok site sahibi bu soruyu sormadan robots.txt'e "AI botlarını engelle" listeleri kopyalıyor ve farkında olmadan AI yanıtlarında kaynak gösterilme şansını kapatıyor. Yapay zeka botları tek tip değil: bir kısmı model eğitimi için içerik topluyor, bir kısmı AI arama indeksini oluşturuyor, bir kısmı da yalnızca kullanıcı bir soru sorduğunda sayfanızı açıyor.

Bu yazıda OpenAI, Anthropic, Perplexity, Google, Apple ve Microsoft'un resmi dokümanlarına dayanarak hangi botun ne yaptığını, hangi hedef için hangi robots.txt kuralının yazılacağını, robots.txt'in nerede yetersiz kaldığını ve botların sitenize gerçekten erişip erişemediğini nasıl kontrol edeceğinizi anlatıyoruz.

İçindekiler

Yapay Zeka Botlarının Üç Rolü
Şirket Bazında AI Bot Listesi
Hangi Hedef İçin Hangi Kural?
robots.txt Örnekleri
robots.txt'in Sınırları
Sahte Bot Nasıl Tespit Edilir?
AI Botları Sitemi Tarayabiliyor mu? Kontrol Listesi
robots.txt Dışındaki Kontroller: Meta Etiketler
Sık Yapılan Hatalar
Sıkça Sorulan Sorular

Yapay Zeka Botlarının Üç Rolü

AI şirketlerinin resmi dokümanları botları üç farklı role ayırıyor. Erişim kararını bot adına göre değil, bu role göre vermek gerekir:

Rol	Ne yapar?	Engellerseniz ne olur?
Eğitim (training) botu	Gelecekteki yapay zeka modellerini eğitmek için içerik toplar	İçeriğiniz o şirketin gelecekteki model eğitiminde kullanılmaz
Arama (search) botu	AI asistanının arama özelliği için içeriği indeksler	Sayfalarınız o asistanın arama yanıtlarında kaynak olarak gösterilmez
Kullanıcı tetiklemeli bot	Bir kullanıcı sohbette soru sorduğunda veya bir bağlantı paylaştığında sayfayı o an açar	Kullanıcının sorusuna cevap verirken sayfanız okunamaz; ancak bu botların bir kısmı robots.txt'e uymayabilir

Bu ayrımın pratik sonucu şu: "İçeriğim yapay zeka modellerini eğitmesin ama ChatGPT ve Perplexity yanıtlarında kaynak gösterileyim" demek mümkün. Bunun için eğitim botlarını engelleyip arama botlarına izin vermek yeterli.

Şirket Bazında AI Bot Listesi

Aşağıdaki tablo her şirketin kendi dokümanındaki bot adlarını ve rollerini gösteriyor (Ekim 2026):

Şirket	Eğitim	Arama	Kullanıcı tetiklemeli
OpenAI	`GPTBot`	`OAI-SearchBot`	`ChatGPT-User`
Anthropic	`ClaudeBot`	`Claude-SearchBot`	`Claude-User`
Perplexity	Eğitim botu tanımlamıyor	`PerplexityBot`	`Perplexity-User`
Google	`Google-Extended` (kontrol jetonu)	`Googlebot` (AI Overviews ve AI Mode dahil)	—
Apple	`Applebot-Extended` (kontrol jetonu)	`Applebot`	—

Birkaç önemli not:

OpenAI: Dokümana göre OAI-SearchBot, sitelerin ChatGPT arama özelliklerinde gösterilmesi için çalışıyor. GPTBot'u engellemek içeriğinizin eğitimde kullanılmaması gerektiğini bildiriyor. ChatGPT-User ise otomatik tarama yapmıyor, kullanıcı eylemleriyle çalışıyor. OpenAI'ın listesinde ayrıca ChatGPT'deki reklam açılış sayfalarının güvenliğini kontrol eden OAI-AdsBot var.
Perplexity: Dokümana göre PerplexityBot, Perplexity arama sonuçlarında siteleri göstermek ve bağlantı vermek için çalışıyor ve yapay zeka temel modelleri için içerik toplamıyor.
Anthropic: ClaudeBot'u engellemek sitenizin gelecekteki içeriğini eğitim veri setlerinden çıkarıyor. Claude-SearchBot ve Claude-User'ı engellemenin ise kullanıcı aramalarındaki görünürlüğü azaltabileceğini Anthropic kendisi belirtiyor.
Google: Google-Extended ayrı bir tarayıcı değil, robots.txt'te kullanılan bir kontrol jetonu (token). Google'a göre bu jeton, içeriğin gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki yanıtlarda kullanılmasını yönetiyor. Google, Google-Extended'ın sitenin Google Arama'ya dahil edilmesini etkilemediğini ve sıralama sinyali olmadığını açıkça yazıyor.
Apple: Applebot-Extended de sayfa taramıyor; Applebot'un taradığı verinin Apple'ın temel modellerini eğitmekte kullanılıp kullanılmayacağını belirliyor. Apple'a göre bu jetonu engelleyen sayfalar Spotlight, Siri ve Safari'de bulunabilir olmaya devam ediyor.

Microsoft ise Bing'in AI yanıtlarında içeriğinizin nasıl kullanılacağı için robots.txt jetonu yerine meta etiket tabanlı kontroller duyurdu. Bunu aşağıda meta etiketler bölümünde anlatıyoruz.

Hangi Hedef İçin Hangi Kural?

Erişim kararını iş hedefinize göre verin. En sık karşılaştığımız dört senaryo:

Hedefiniz	Engellenecekler	İzin verilecekler
AI aramada görünmek, eğitime içerik vermemek	GPTBot, ClaudeBot, Google-Extended, Applebot-Extended	OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot
Her yerde görünmek (varsayılan)	Hiçbiri	Tümü
Belirli bölümleri kapatmak (müşteri paneli, ücretli içerik)	Tüm botlar için yalnızca ilgili dizinler	Sitenin geri kalanı
AI'dan tamamen çıkmak	Tüm AI eğitim ve arama botları	Yalnızca Googlebot ve Bingbot (klasik arama)

Son senaryonun bir bedeli var: AI arama botlarını engellediğinizde ChatGPT, Claude ve Perplexity yanıtlarında kaynak gösterilme şansınız ortadan kalkar. Google tarafında ise AI Overviews ve AI Mode Googlebot'un taradığı içeriği kullandığı için, robots.txt ile Google'ın AI özelliklerinden çıkıp klasik aramada kalmak mümkün değil. Google'ın "AI özellikleri ve web siteniz" dokümanı, AI özelliklerinde gösterilen bilgiyi sınırlamak için nosnippet, data-nosnippet, max-snippet veya noindex kullanılmasını öneriyor. Bu kontroller klasik arama sonucundaki snippet'i de etkiler.

AI görünürlüğü işinizin parçasıysa (ajans, yazılım, e-ticaret, hizmet işletmesi), ilk iki senaryodan birini seçmenizi öneriyoruz. AI aramada neden görünmek isteyebileceğinizi GEO optimizasyonu yazımızda anlattık.

robots.txt Örnekleri

robots.txt kurallarının nasıl eşleştiğini bilmeden örnek kopyalamak risklidir. Robots Exclusion Protocol standardına (RFC 9309) göre bir tarayıcı, kendi adıyla eşleşen bir grup varsa yalnızca o gruba uyar; User-agent: * grubunu ancak kendine özel bir grup yoksa kullanır. Yani bir bot için ayrı grup açtığınızda, * grubundaki kurallar o bota artık uygulanmaz. Ortak kısıtlamaları her gruba tekrar yazmanız gerekir.

Senaryo 1: Eğitimi engelle, AI aramaya izin ver

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /
Disallow: /panel/

Sitemap: https://www.siteniz.com/sitemap.xml

Bu dosyada OAI-SearchBot, Claude-SearchBot ve PerplexityBot için ayrı grup olmadığı için * grubuna uyarlar: siteyi tarayabilirler, /panel/ dizinine giremezler.

Senaryo 2: Belirli bir dizini yalnızca AI botlarına kapatmak

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /uyelere-ozel/
Disallow: /panel/

User-agent: *
Allow: /
Disallow: /panel/

Burada AI botları için açılan grupta /panel/ kuralı tekrar yazıldı. Yazılmasaydı bu botlar * grubundaki /panel/ engeline uymazdı, çünkü artık kendi gruplarına bakıyorlar.

Senaryo 3: Tarama sıklığını sınırlamak

Anthropic, standart dışı Crawl-delay direktifini desteklediğini belirtiyor:

User-agent: ClaudeBot
Crawl-delay: 1

Bu direktifi tüm botlar desteklemez; Google örneğin crawl-delay kuralını desteklemediğini dokümanında yazıyor. Sunucu yükü sorununuz varsa önce hangi botun yük oluşturduğunu loglardan tespit edin. Tarama kaynağının nasıl dağıldığını crawl budget yazımızda ayrıntılı ele aldık.

robots.txt'in Sınırları

robots.txt bir rica mekanizmasıdır, kilit değildir. Kararınızı verirken şu sınırları bilin:

Uyum gönüllüdür. Google'ın robots.txt dokümanı, robots.txt kurallarının tarayıcı davranışını zorla uygulatamayacağını, kurallara uymanın tarayıcıya kaldığını belirtiyor. Kötü niyetli kazıyıcılar dosyayı yok sayabilir.
Kullanıcı tetiklemeli botlar istisna olabilir. OpenAI, ChatGPT-User istekleri kullanıcı tarafından başlatıldığı için robots.txt kurallarının bu isteklere uygulanmayabileceğini yazıyor. Perplexity de Perplexity-User'ın robots.txt kurallarını genellikle yok saydığını belirtiyor.
Değişiklik anında yansımaz. OpenAI ve Perplexity, robots.txt değişikliklerinin sistemlerine yansımasının 24 saate kadar sürebileceğini belirtiyor.
Geçmişe dönük çalışmaz. Anthropic, ClaudeBot engelinin sitenin gelecekteki içeriğini eğitim veri setlerinden çıkardığını belirtiyor. Daha önce toplanmış veri için robots.txt bir çözüm değil.
robots.txt dizinden çıkarmaz. OpenAI'ın yayıncı SSS'sine göre robots.txt ile engellenen bir sayfanın bağlantısı ChatGPT'de yine görünebilir; bunu önlemek için noindex meta etiketi gerekir ve tarayıcının bu etiketi görebilmesi için sayfaya erişebilmesi gerekir.

Gerçekten erişilmemesi gereken içerik (müşteri verisi, ücretli içerik) için robots.txt yerine oturum açma, sunucu tarafı yetkilendirme veya güvenlik duvarı kuralları kullanılmalı.

Sahte Bot Nasıl Tespit Edilir?

User-agent dizesi herkes tarafından taklit edilebilir. Loglarınızda "GPTBot" yazan her istek OpenAI'dan gelmiyor olabilir. Doğrulama için şirketlerin yayımladığı IP listelerini kullanın:

Bot	Resmi IP listesi
GPTBot	`openai.com/gptbot.json`
OAI-SearchBot	`openai.com/searchbot.json`
ChatGPT-User	`openai.com/chatgpt-user.json`
PerplexityBot	`perplexity.com/perplexitybot.json`
Perplexity-User	`perplexity.com/perplexity-user.json`
Anthropic botları	`claude.com/crawling/bots.json`

Googlebot için Google, ters DNS sorgusu (reverse DNS) ile doğrulama yöntemi ve ayrıca IP aralığı listeleri yayımlıyor.

IP listesine göre doğrulanmayan ama AI botu gibi görünen trafik varsa onu güvenlik duvarında engellemek makul. Ancak gerçek botların IP'lerini engellemek konusunda dikkatli olun: Anthropic, IP engellemenin robots.txt dosyanızın okunmasını da engelleyeceği için tercihlerinizin kalıcı olarak uygulanmasını garanti etmeyebileceğini belirtiyor. Tercihinizi bildirmenin doğru yolu robots.txt.

AI Botları Sitemi Tarayabiliyor mu? Kontrol Listesi

Bir AI asistanında hiç kaynak gösterilmiyorsanız sorun içerikte değil erişimde olabilir. Sırayla kontrol edin:

robots.txt'i okuyun. siteniz.com/robots.txt adresini tarayıcıda açın. AI botları için ayrı grup var mı, * grubunda geniş bir Disallow var mı? Hazır temaların ve SEO eklentilerinin eklediği kuralları gözden kaçırmayın; WordPress kullanıyorsanız WordPress SEO eklentileri yazımızdaki varsayılan ayar notlarına bakın.
CDN ve güvenlik duvarı ayarlarını kontrol edin. Bazı CDN ve güvenlik hizmetleri AI botlarını engelleyen hazır ayarlar sunuyor. robots.txt izin verse bile bu katman botu kapıda durdurabilir. Bot yönetimi panelinde AI tarayıcılarına ait bir kural olup olmadığına bakın.
Sunucu loglarını inceleyin. Erişim loglarında GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot gibi user-agent'ları arayın. Hangi sayfalara geldiklerini ve hangi durum kodunu aldıklarını (200, 403, 404) not edin. 403 görüyorsanız bir güvenlik katmanı botu engelliyor.
İstekleri IP listesiyle doğrulayın. Yukarıdaki tablodaki listelerle, gelen isteklerin gerçekten ilgili şirketten olduğunu kontrol edin.
İçeriğin JavaScript olmadan okunabildiğini doğrulayın. Ana içerik yalnızca tarayıcıda çalışan JavaScript ile yükleniyorsa, bot sayfaya erişse bile içeriği göremeyebilir. Sayfanın kaynak kodunda (view-source) ana metin görünüyor mu? Bu konuyu JavaScript SEO yazımızda ayrıntılı ele aldık.
Bot etkinliğini izleyin. Microsoft Clarity'nin AI bot etkinliği görünümü, hangi AI sistemlerinin sitenize eriştiğini gösteriyor. Atıf tarafını ölçmek için kullanılabilecek diğer araçları GEO araçları yazımızda karşılaştırdık.

Kendi sitemizde tercihimiz tüm botlara açık olmak. getranklab.com'un robots.txt dosyası bütün tarayıcılara izin veriyor; tek kural, müşteri logolarımızın Google Görseller'de sitemizi temsil eden görsel olarak seçilmemesi için Googlebot-Image'e /logos/ dizinini kapatmak. Bir SEO ajansı için AI yanıtlarında kaynak gösterilmek, içeriğin eğitimde kullanılmasından daha değerli; bu tercih her işletme için aynı olmak zorunda değil.

robots.txt Dışındaki Kontroller: Meta Etiketler

Bazı platformlarda AI kullanımı robots.txt ile değil, sayfa düzeyindeki meta etiketlerle kontrol ediliyor:

Google: nosnippet, data-nosnippet ve max-snippet, Google'ın AI özelliklerinde sayfanızdan gösterilecek bilgiyi sınırlar. Bu etiketler klasik arama snippet'ini de etkiler, bu yüzden yalnızca gerçekten gerekli sayfalarda kullanın.
Microsoft Bing: Bing'in Eylül 2023 duyurusuna göre NOCACHE etiketli içerik, o zamanki adıyla Bing Chat yanıtlarında yalnızca URL, başlık ve snippet ile gösterilebiliyor. NOARCHIVE etiketli içerik ise yanıtlara dahil edilmiyor, yanıtlarda bağlantı da verilmiyor ve Microsoft'un temel modellerinin eğitiminde kullanılmıyor. Bing, iki etiketi taşıyan içeriğin arama sonuçlarında görünmeye devam edeceğini belirtiyor.
Apple: Apple'ın dokümanına göre nosnippet etiketi, içeriğin Siri ve Arama'daki AI üretimli yanıtlarda kullanılıp kullanılmayacağını kontrol ediyor.

Erişim kontrolünün tersi yönde, AI sistemlerine hangi sayfalarınızın önemli olduğunu anlatmaya çalışan bir öneri de var: llms.txt. llms.txt erişimi kısıtlamaz, yalnızca yönlendirme amaçlıdır ve robots.txt'in yerini tutmaz.

Sık Yapılan Hatalar

Hazır "AI botlarını engelle" listelerini kopyalamak: Bu listelerin çoğu eğitim ve arama botlarını ayırt etmeden engeller. Sonuç olarak OAI-SearchBot veya PerplexityBot da engellenir ve AI arama görünürlüğü sıfırlanır.
Google-Extended'ı engelleyip AI Overviews'tan çıktığını sanmak: Google'a göre Google-Extended, Google Arama'yı etkilemiyor. AI Overviews ve AI Mode, Googlebot'un taradığı içeriği kullanıyor.
Bot için ayrı grup açıp ortak kuralları tekrar yazmamak: RFC 9309'a göre kendi grubu olan bot * grubunu dikkate almaz. Bu yüzden /panel/ gibi ortak kısıtlamalar her grupta tekrar yazılmalı.
Engellemeyi CDN'de yapıp robots.txt'te izin vermek: İki katman çelişirse kazanan CDN olur. Bot robots.txt'i bile okuyamayabilir.
robots.txt değişikliğinden hemen sonra sonuç beklemek: OpenAI ve Perplexity'ye göre değişikliğin yansıması 24 saati bulabilir; AI yanıtlarındaki etkisinin görünmesi ise daha uzun sürebilir.
Tek bir user-agent satırında yazım hatası: GPT-Bot, Claudebot-Search gibi yanlış yazılmış adlar hiçbir botla eşleşmez. Bot adlarını her zaman şirketin kendi dokümanından kopyalayın.

Sıkça Sorulan Sorular

GPTBot'u engellersem ChatGPT aramasında görünmez miyim?

Hayır. OpenAI'ın dokümanına göre GPTBot model eğitimi için içerik topluyor; ChatGPT arama özelliklerinde görünmeyi ise OAI-SearchBot belirliyor. Yalnızca GPTBot'u engellerseniz içeriğiniz eğitimde kullanılmaz ama OAI-SearchBot'a izin verdiğiniz sürece ChatGPT arama yanıtlarında kaynak olarak gösterilebilirsiniz.

Yapay zeka botlarının sitemi tarayıp taramadığını nasıl kontrol ederim?

Önce siteniz.com/robots.txt dosyasında AI botlarına yönelik Disallow kuralı olup olmadığına bakın. Ardından CDN veya güvenlik duvarındaki bot engelleme ayarlarını kontrol edin. Sunucu loglarında GPTBot, OAI-SearchBot, ClaudeBot ve PerplexityBot isteklerini arayıp aldıkları durum kodlarını inceleyin ve IP adreslerini şirketlerin yayımladığı resmi IP listeleriyle doğrulayın.

Google-Extended'ı engellemek Google sıralamamı etkiler mi?

Hayır. Google'ın dokümanına göre Google-Extended, bir sitenin Google Arama'ya dahil edilmesini etkilemiyor ve sıralama sinyali olarak kullanılmıyor. Bu jeton, içeriğin gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki yanıtlarda kullanılmasını yönetiyor. AI Overviews ve AI Mode ise Googlebot'un taradığı içeriği kullanıyor.

robots.txt AI botlarını kesin olarak engeller mi?

Hayır. robots.txt bir rica mekanizmasıdır; Google'ın dokümanına göre kurallara uymak tarayıcıya kalmıştır. OpenAI ve Perplexity, kullanıcı tarafından tetiklenen ChatGPT-User ve Perplexity-User isteklerinde robots.txt kurallarının uygulanmayabileceğini belirtiyor. Kesin erişim kısıtlaması için oturum açma, sunucu tarafı yetkilendirme veya güvenlik duvarı kuralları gerekir.

ClaudeBot ile Claude-SearchBot arasındaki fark nedir?

Anthropic'e göre ClaudeBot, modellerin eğitimine katkı sağlayabilecek web içeriğini topluyor; engellenirse sitenin gelecekteki içeriği eğitim veri setlerinden çıkarılıyor. Claude-SearchBot ise kullanıcılara verilen arama sonuçlarının kalitesini artırmak için içeriği analiz ediyor; engellenmesi sitenizin Claude'daki arama görünürlüğünü azaltabiliyor.

AI bot erişimi, robots.txt satırlarından ibaret değil; CDN ayarları, render davranışı ve log analizi birlikte ele alındığında anlam kazanıyor. Sitenizin hem klasik arama hem AI botları için erişilebilirliğini teknik SEO denetimi hizmetimizle birlikte inceleyebiliriz; AI yanıtlarında görünürlüğü büyütmek ayrı bir iş kalemiyse GEO ve AI arama hizmetimize göz atabilirsiniz. Bütçe aralıkları için ücretlendirme rehberimize, benzer projelerin sonuçları için başarı hikayelerimizi inceleyebilir, sitenize özel değerlendirme için birebir SEO danışmanlığı talep edebilirsiniz.