Google sitenizi her gün taramak zorunda değildir. Hatta her sayfanızı hiç taramayabilir. Sitenizin büyüklüğüne, hızına ve kalitesine göre belirlenen bu sınıra crawl budget — tarama bütçesi — denir.
Crawl budget doğru yönetilmezse kritik sayfalarınız günlerce, hatta haftalarca Googlebot'un radarına girmez. Yeni yayınladığınız içerik indekslenmez, güncellemeleriniz güncellenmemiş görünür, rakipleriniz sizi geçer.
İçindekiler
- Crawl Budget Nedir?
- İki Bileşen: Crawl Rate Limit ve Crawl Demand
- Crawl Budget'ı Etkileyen Faktörler
- Tarama Bütçenizi Boşa Harcatan 7 Sorun
- Crawl Budget Nasıl Optimize Edilir?
- Google Search Console ile Tarama Analizi
- Log File Analizi
- Küçük ve Büyük Siteler İçin Fark Ne?
- Araçlar
- Sıkça Sorulan Sorular
Crawl Budget Nedir?
Crawl budget, Google'ın belirli bir zaman diliminde (genellikle saniye veya gün bazında) bir siteyi kaç URL ile tarayacağını belirleyen kapasitedir.
Google, her siteye sonsuz kaynak ayırmaz. Googlebot'un sunucunuzu bunaltmaması ve Google'ın veri merkezlerini gereksiz yüklememesi için her site bir tarama sınırıyla çalışır.
Bu sınırın içinde kalındığında önemli olan şu sorudur: Googlebot bu sınırlı kapasiteyi hangi sayfalara harcıyor?
Eğer botunuz 500 URL'lik bir bütçeyle sitenize geliyor ve 300'ünü filtre sayfalarına, 100'ünü kırık linklere, 50'sini yönlendirme zincirlerine harcıyorsa; geriye asıl indekslenmesi gereken blog yazıları, ürün sayfaları ve servis sayfaları için yalnızca 50 URL kalır.
Crawl budget yönetimi, bu kısıtlı kapasiteyi doğru sayfalara yönlendirme sanatıdır.
İki Bileşen: Crawl Rate Limit ve Crawl Demand
Google'ın crawl budget hesabı iki faktörün kesişiminden oluşur:
1. Crawl Rate Limit
Googlebot'un sunucunuzu zorlamadan tarayabileceği maksimum hız. Sunucunuz yavaş yanıt veriyorsa (yüksek TTFB), Google tarama hızını otomatik olarak düşürür. Sunucunuz hızlı ve stabil olduğunda Google tarama kapasitesini artırır.
Core Web Vitals rehberimizde ayrıntılı ele aldığımız sayfa hızı metrikleri, doğrudan crawl rate limit'i etkiler: hızlı sunucu = daha geniş tarama kapasitesi.
2. Crawl Demand
Google'ın bir sayfayı taramak için hissettiği ihtiyaç. Populerlik (backlink sayısı, tıklanma oranı) ve tazelik (son güncelleme tarihi) bu talebi belirler.
Yüksek trafik alan, sıkça güncellenen ve güçlü backlink profilli sayfalar daha sık taranır. Hiç güncellemeyen, trafik almayan ve iç linklerden izole sayfalar ise Googlebot'un öncelik listesine girmez.
Crawl Budget'ı Etkileyen Faktörler
| Faktör | Etki Yönü |
|---|---|
| Sunucu hızı (TTFB) | Yüksek TTFB → crawl rate limit düşer |
| Site büyüklüğü | URL sayısı arttıkça bütçe kritikleşir |
| İç link mimarisi | Derin ve izole sayfalar taranmaz |
| Backlink profili | Güçlü backlink = yüksek crawl demand |
| Güncelleme sıklığı | Sık güncellenen sayfa daha çok taranır |
| 4xx/5xx hataları | Bot başarısız URL'leri tekrar dener, bütçe tükenir |
| Canonical doğruluğu | Hatalı canonical → aynı içerik defalarca taranır |
| Sitemap kalitesi | Hatalı sitemap Googlebot'u yanıltır |
Tarama Bütçenizi Boşa Harcatan 7 Sorun
1. Parametreli URL'ler
/urunler?renk=kirmizi&beden=L&siralama=fiyat — bu URL'nin onlarca varyasyonu oluşabilir. Her kombinasyon ayrı bir URL olarak algılanır ve Googlebot'u teker teker taramaya çalışır. E-ticaret sitelerinde bu sorun yüzlerce binlerce gereksiz URL anlamına gelir.
2. Yönlendirme Zincirleri
A → B → C → D şeklinde uzayan yönlendirmeler, her adımda bot'un zaman ve kaynak harcamasına neden olur. İdeal yönlendirme doğrudan 301 olmalı; zincir uzunluğu maksimum 2 adımla sınırlı tutulmalıdır.
3. 404 ve 5xx Sayfaları
Kırık iç linkler, Googlebot'u var olmayan sayfalara yönlendirir. Her başarısız istek bütçeden düşer. Üstelik sunucu hataları (5xx) Google'ın o siteye olan tarama güvenini uzun vadede zayıflatır.
4. Duplicate Content
Canonical etiketi olmayan ya da hatalı canonical kullanan URL'ler — https://example.com/sayfa ile https://www.example.com/sayfa — aynı içeriği iki farklı URL olarak sunar. Her ikisi de taranır, bütçe ikiye bölünür, iki sayfa da sıralamada zarar görür.
5. İnce İçerikli (Thin Content) Sayfalar
Yeterli içerik sunmayan sayfalar (etiket sayfaları, filtre kombinasyonları, boş kategori sayfaları) Google'ın tarama kapasitesini çalar ama algoritmasal değer üretmez.
6. Sitemap Hataları
Sitemap'te 301 yönlendirmesi olan, noindex etiketi taşıyan veya 4xx döndüren URL'ler bulunuyorsa Googlebot hem yanıltılır hem de gereksiz istek yapar.
7. Faceted Navigation
E-ticaret filtre sistemleri, robotlara açıksa tek bir katalog sayfasından binlerce URL üretebilir. Her renk-beden-marka kombinasyonu ayrı taranır; bütçenin büyük çoğunluğu bu sayfalara gider.
Crawl Budget Nasıl Optimize Edilir?
Robots.txt ile Gereksiz URL'leri Engelle
Taranmasını istemediğiniz URL kalıplarını robots.txt'e ekleyin:
User-agent: Googlebot
Disallow: /filtrele/
Disallow: /etiket/
Disallow: /sepet/
Disallow: /hesabim/
Dikkat: robots.txt engellemesi indekslemeyi garanti etmez — sayfayı taramaz ama indexlenmesini engellemek için ayrıca noindex etiketi gerekir.
Sitemap'ı Temizle
Sitemap'ınızda yalnızca şunlar olmalı:
- İndekslenmesini istediğiniz, gerçekten değerli sayfalar
- Doğru canonical URL'ler (yönlendirme değil, hedef URL)
noindexetiketi taşımayan sayfalar- 200 döndüren URL'ler
Google Search Console → Sitemap bölümünden hata sayısını düzenli kontrol edin.
4xx Hatalarını Düzelt
Screaming Frog veya Ahrefs ile iç kırık linkleri tarayın. 404 döndüren iç linkleri ya doğru URL'ye yönlendirin ya da kaldırın. Bu tek adım, küçük-orta ölçekli sitelerde crawl verimliliğini %20-40 artırabilir.
Yönlendirme Zincirlerini Kısalt
Her zinciri doğrudan 301'e indirin. /eski-sayfa → /ara-sayfa → /yeni-sayfa varsa bunu /eski-sayfa → /yeni-sayfa olarak düzeltin.
İç Link Mimarisini Güçlendir
Teknik SEO altyapı rehberimizde ele aldığımız orphan page sorunu, crawl budget ile doğrudan bağlantılıdır: hiçbir iç linkten ulaşılamayan sayfalar Googlebot'un radarına girmez. Her yeni içerik yayınladığınızda en az 2-3 mevcut sayfadan inbound link verin.
Canonical Etiketleri Doğrula
Tüm canonical etiketlerin hedef URL'lere (final URL'e, yani redirect olmayan) işaret ettiğinden emin olun. Self-referencing canonical (bir sayfanın kendi URL'sine canonical vermesi) hem doğru hem gereklidir.
Google Search Console ile Tarama Analizi
GSC, crawl budget analizi için en erişilebilir araçtır:
Ayarlar → Tarama İstatistikleri
Bu rapor size şunu gösterir:
- Googlebot son 90 günde kaç istek yaptı?
- İsteklerin kaçı başarılı (200), kaçı hata (4xx/5xx)?
- Hangi dosya türleri en çok tarandı?
- Ortalama yanıt süresi nedir?
Eğer 5xx hatası oranı yüksekse sunucunuz Googlebot'u zorluyor demektir — tarama hızını düşürür. Eğer 4xx oranı yüksekse iç link temizliği yapmanız gerekiyor.
URL İnceleme Aracı
Tek bir sayfanın en son ne zaman tarandığını, hangi canonical URL'ye sahip olduğunu ve indeks durumunu gösterir. Yeni yayınlanan önemli sayfalarda "İndekslemeyi İste" ile süreci hızlandırabilirsiniz.
Log File Analizi
Log file analizi, crawl budget yönetiminin en güçlü — ama en az kullanılan — yöntemidir.
Sunucu log'larınız, Googlebot'un gerçekte hangi URL'leri ziyaret ettiğini kayıt altına alır. GSC'nin gösterdiğinden farklı olarak log'lar gerçek zamanlı ve tam veri sunar:
- Googlebot günde kaç kez geliyor?
- En çok hangi URL'leri ziyaret ediyor?
- Hangi URL'leri hiç ziyaret etmiyor?
- Hangi URL'lerde sunucu hataları yaşıyor?
Analiz araçları: Screaming Frog Log File Analyser, Botify, JetOctopus.
Log file analizinin detaylı rehberini yakında yayınlayacağımız log file analizi makalemizde bulabileceksiniz.
Küçük ve Büyük Siteler İçin Fark Ne?
10-50 sayfalık site: Crawl budget pratikte sorun yaratmaz. Google bu ölçekte her sayfayı düzenli tarar. Ancak teknik sorunlar varsa (5xx hataları, hatalı robots.txt) küçük siteler de olumsuz etkilenir.
100-1.000 sayfalık site: Orphan page'ler, parametreli URL'ler ve zayıf iç link mimarisi bu ölçekte ilk sorunları yaratmaya başlar. Düzenli GSC takibi şarttır.
10.000+ sayfalık site: Crawl budget kritik bir operasyonel parametredir. E-ticaret siteleri, haber portalları ve büyük kataloglar için log file analizi ve otomatik sitemap yönetimi zorunludur. Bu ölçekte crawl budget optimizasyonu, ayda güncellenmeyen onlarca sayfanın hiç indekslenememesine neden olabilir.
Google sıralama faktörleri rehberimizde taranabilirliği etkileyen tüm teknik sinyal setini bulabilirsiniz.
Araçlar
| Araç | Kullanım | Ücret |
|---|---|---|
| Google Search Console | Tarama istatistikleri, URL inceleme | Ücretsiz |
| Screaming Frog SEO Spider | Site tarama, iç kırık link tespiti | Freemium |
| Screaming Frog Log Analyser | Log file analizi | Ücretli |
| Ahrefs Site Audit | Kapsamlı teknik sorun tespiti | Ücretli |
| Botify | Kurumsal log analizi ve crawl yönetimi | Ücretli |
| JetOctopus | Log file + tarama analizi | Ücretli |
Sıkça Sorulan Sorular
Crawl budget nedir, kısaca açıklar mısınız?
Crawl budget, Google'ın belirli bir sürede bir siteyi kaç URL ile tarayacağını belirleyen kapasitedir. Bu kapasite sunucu hızı, site büyüklüğü ve içerik kalitesi gibi faktörlere göre belirlenir. Yönetilmezse kritik sayfalar yerine değersiz URL'ler taranır.
Küçük siteler için crawl budget önemli mi?
10-50 sayfalık siteler için doğrudan sorun yaratmaz. Ancak 4xx hataları, hatalı robots.txt veya 5xx sunucu hataları küçük siteleri de olumsuz etkiler. 500 sayfanın üzerindeki sitelerde crawl budget aktif olarak yönetilmelidir.
Crawl budget nasıl artırılır?
Doğrudan artırmazsınız; Google bu değeri algoritmik olarak belirler. Ancak sunucu yanıt süresini düşürerek, içerik kalitesini artırarak ve backlink profilinizi güçlendirerek Google'ın sitenizi daha sık ve geniş tarama isteğini artırabilirsiniz.
Robots.txt ile crawl budget optimize edilir mi?
Evet. Robots.txt ile değersiz URL'leri (filtre sayfaları, admin paneli, yinelenen içerikler) Googlebot'tan gizleyerek mevcut bütçeyi değerli sayfalara yönlendirirsiniz. Bu en hızlı etkiyi gösteren crawl budget optimizasyon yöntemidir.
Crawl budget ile indeksleme aynı şey mi?
Hayır. Tarama (crawl), Googlebot'un sayfayı okumasıdır. İndeksleme ise okunan sayfanın Google'ın veritabanına eklenmesidir. Google bir sayfayı tarayabilir ama indekslemeyebilir (kalite eşiği altındaysa). Crawl budget önce tarama kapasitesini etkiler; indeksleme ayrı bir karar sürecidir.
Sitenizin tarama bütçesinin verimli kullanılıp kullanılmadığını analiz etmek için teknik SEO hizmetimizden yararlanabilirsiniz. Türkiye'deki SEO ajansı fiyatlarını karşılaştırmak için SEO fiyatları rehberimize bakabilirsiniz. Teknik SEO optimizasyonunun somut sonuçlarını görmek için vaka çalışmalarımızı inceleyebilir ya da ücretsiz site analizi için bize ulaşabilirsiniz.