Arama motoru botlarının sitenizde gerçekte ne yaptığını gösteren en güvenilir kaynak sunucu günlükleridir. Analiz araçları örnekleme yapar ve tahmin sunar, günlük kayıtları ise her isteği olduğu gibi saklar. Hangi sayfaya, ne zaman, hangi yanıt koduyla gelindiğini bu kayıtlardan okuyabilirsiniz.
Günlük verisini hazırlamak
İlk adım, erişim günlüklerini en az dört hafta için toplamaktır. Daha kısa dönemler, haftalık tarama ritmini görmenizi engeller. Her satırda genellikle IP adresi, zaman damgası, istenen adres, durum kodu, aktarılan bayt ve kullanıcı aracısı bilgisi bulunur. Bu alanları bir tabloya veya veri ambarına aktarın. Önbellek katmanı ya da içerik dağıtım ağı kullanıyorsanız, kayıtları yalnızca kaynak sunucudan değil bu katmandan da almanız gerekir; aksi halde isteklerin bir kısmı eksik kalır.
Botları ayırırken kullanıcı aracısı satırına güvenmeyin, çünkü kolayca taklit edilir. Arama motorlarının yayımladığı doğrulama yöntemini kullanın: IP adresinden ters DNS sorgusu yapın, çıkan alan adını tekrar IP’ye çevirip eşleşmeyi kontrol edin. Sahte botları ayıkladıktan sonra veri gerçek tabloya yaklaşır.
Hangi metriklere bakılmalı?
Önce günlük toplam bot isteği sayısını ve bunun zaman içindeki değişimini çıkarın. Ani düşüşler sunucu sorununa ya da erişim engeline işaret edebilir. Ardından durum kodlarının dağılımına bakın. İsteklerin büyük bölümü 200 dönmeli; 301 ve 302 oranı yükseksekse yönlendirme zincirleri botun bütçesini tüketiyordur. 404 ve 410 yanıtları eski bağlantıların hâlâ çağrıldığını, 5xx yanıtları ise sunucunun yük altında zorlandığını gösterir.
Dizin ve sayfa tipi bazında kırılım da önemlidir. Adresleri ürün, kategori, blog, filtre ve arama sonucu gibi gruplara ayırıp her gruba düşen istek payını hesaplayın. Sitenizin gelir getiren sayfaları toplam isteğin küçük bir kısmını alıyorsa, tarama değersiz alanlara akıyor demektir. Bir de aynı adrese tekrar tekrar gelinme sıklığını ölçün; sık güncellenen sayfaların seyrek ziyaret edilmesi, içerik değişikliklerinin geç fark edilmesine yol açar.
Sorunları bulup düzeltmek
En sık rastlanan israf kaynağı parametreli adreslerdir. Sıralama, filtre ve oturum parametreleri binlerce neredeyse aynı sayfa üretir. Bunları robots.txt ile engelleyebilir, kanonik etiketlerle birleştirebilir veya bağlantı üretimini sınırlayabilirsiniz. Günlüklerde bu adreslerin payı düşmüyorsa düzenleme işe yaramamıştır.
Ters yönde bir kontrol de yapın: site haritanızdaki adresleri günlükte geçen adreslerle karşılaştırın. Hiç ziyaret edilmeyen sayfalar iç bağlantı eksikliğine ya da derin tıklama mesafesine işaret eder. Bu sayfalara kategori ve ilgili içerik sayfalarından bağlantı ekleyin. Yanıt süresi de bakılacak bir göstergedir; yavaş yanıtlar botun istek hızını kendiliğinden düşürür.
Analizi bir kez yapıp bırakmayın. Değişiklik yaptıktan sonra aynı raporu iki hafta sonra yeniden çıkarın ve etkiyi karşılaştırın. Düzenli izleme, tarama sorunlarını sıralama kaybına dönüşmeden yakalamanızı sağlar.