Arama motoru botları bir siteyi taramaya çalışırken sunucudan sürekli hata alırsa, siteye zarar vermemek için istek sayısını azaltır. Bu durum yeni yayınlanan sayfaların geç keşfedilmesine, güncellemelerin dizine geç yansımasına ve bazı durumlarda sayfaların sonuçlardan düşmesine yol açabilir. Sorunun kaynağını anlamak, kaybı en aza indirmenin ilk adımıdır.
Botlar hata aldığında ne yapar?
Tarama botu her sitenin sunucusuna ne kadar yük bindirebileceğini yanıt sürelerine ve hata oranına bakarak tahmin eder. 500, 502, 503 ve 504 gibi 5xx kodları sunucunun istekleri karşılayamadığını gösterir. Bu kodlar arttığında bot tarama hızını kısar ve bir süre sonra yeniden dener. Hatalar günlerce sürerse, daha önce dizinde olan URL’ler de şüpheli sayılıp sonuçlardan çıkarılabilir. Kısa süreli, tek seferlik aksaklıklar genellikle kalıcı bir etki bırakmaz; asıl risk, tekrarlayan ve uzun süren sorunlardır.
Yavaş yanıt süresi de aynı etkiyi yaratır
Sunucu hata vermese bile yanıt vermesi uzun sürüyorsa bot aynı sürede daha az sayfa tarayabilir. Zaman aşımına uğrayan istekler hata gibi değerlendirilir. İlk bayt süresinin yüksek olması çoğunlukla yetersiz kaynak, ağır veritabanı sorguları, önbelleğin kapalı olması veya yoğun eklentilerden kaynaklanır. Sayfa önbelleği kullanmak, görselleri sıkıştırmak ve gereksiz sorguları temizlemek yanıt süresini belirgin biçimde kısaltır. Özellikle binlerce sayfası olan sitelerde bu iyileştirme, taranan sayfa sayısını doğrudan artırabilir.
Sorunu nasıl tespit edersiniz?
Search Console içindeki tarama istatistikleri raporunda sunucu hatalarını, ortalama yanıt süresini ve günlük tarama isteklerini görebilirsiniz. Tarama isteklerinin düşüp yanıt süresinin yükseldiği tarihleri sunucu kayıtlarıyla karşılaştırın. Ham erişim kayıtları, botun hangi URL’lerde hangi durum kodunu aldığını net gösterir. Hataların belirli saatlerde yoğunlaşması genellikle yedekleme, zamanlanmış görev veya trafik sıçraması gibi bir nedene işaret eder. Barındırma kaynakları yetersizse paketi yükseltmek ya da içerik dağıtım ağı kullanmak mantıklı olabilir.
Bakım ve geçici kesintilerde doğru yöntem
Planlı bakım yapacaksanız sunucunun 503 durum koduyla birlikte Retry-After başlığı döndürmesi, botlara kesintinin geçici olduğunu bildirir. Bakım sayfasını 200 koduyla göstermek ise yanlış sinyal verir ve boş içeriğin dizine girmesine neden olabilir. Robots.txt dosyasının da kesintisiz erişilebilir olması gerekir; bu dosya hata verirse bazı botlar siteyi taramayı tamamen durdurabilir. Sorun giderildikten sonra tarama hızı genellikle kademeli olarak normale döner, bu yüzden toparlanma için birkaç gün sabırla beklemek gerekir.
Sağlıklı bir sunucu, tarama bütçesini verimli kullanmanın temelidir. Hata oranını ve yanıt süresini düzenli izlemek, sorunları dizine yansımadan yakalamanızı sağlar.