Arama motoru botları bir siteye sınırsız zaman ayırmaz. Her ziyarette belirli sayıda adresi tarar ve geri döner. Bu paya tarama bütçesi denir. Sitenizde hatalı bağlantılar çoğaldığında bot, değerli sayfalar yerine çıkmaz sokaklarda dolaşır ve yeni ya da güncellenmiş içeriklerin fark edilmesi gecikir.
Hatalı bağlantı bütçeyi nasıl tüketir?
Bot, bulduğu her bağlantıyı kuyruğa ekler. Bağlantı 404 veya 410 dönüyorsa istek boşa gitmiş olur. Tek bir kırık link önemsiz görünür, ancak menüde, alt bilgide ya da sayfalama yapısında yer alan hatalı bir bağlantı binlerce sayfadan çağrıldığı için bot aynı boş adrese tekrar tekrar gider. Sunucu hataları da benzer etki yaratır: 5xx yanıtları alan bot, sunucuyu yormamak için tarama hızını düşürebilir.
Yönlendirme zincirleri ve parametreli adresler
Sorun yalnızca kırık linklerle sınırlı değildir. A sayfası B’ye, B de C’ye yönleniyorsa bot hedefe ulaşmak için üç istek harcar. Eski bağlantıları doğrudan son adrese yönlendirmek bu kaybı önler. Filtre, sıralama ve oturum parametreleri de sonsuz sayıda benzer adres üretebilir. Bunları robots.txt ile kısıtlamak, kanonik etiket kullanmak ya da gereksiz parametreleri hiç bağlantıya dönüştürmemek bütçeyi korur. Sitemap dosyasında hatalı, yönlendirilen veya noindex işaretli adreslerin bulunması da botu yanlış yönlendirir.
Sorunları nasıl tespit edip düzeltirsiniz?
Search Console’daki tarama istatistikleri raporu, günlük istek sayısını ve yanıt kodlarının dağılımını gösterir. Sayfa dizinleme raporundaki “bulunamadı” kayıtları da ilk bakılacak yerdir. Daha ayrıntılı analiz için sunucu günlüklerini inceleyin; botun hangi dizinlerde en çok zaman harcadığını görürsünüz. Bir tarama aracıyla siteyi taratıp iç bağlantıların döndürdüğü kodları listeleyin. Önceliği, çok sayıda sayfadan link alan kırık adreslere verin.
Düzeltme sırası genellikle şöyledir: iç bağlantıları güncel adrese çevirin, silinen ama karşılığı olan sayfaları 301 ile yönlendirin, karşılığı olmayanları 404 ya da 410 olarak bırakın ve sitemap’i temizleyin. Bu kontrolü ayda bir tekrarlamak, sorunların birikmesini engeller.
Tarama bütçesi özellikle büyük ve sık güncellenen sitelerde önem taşır, ancak temiz bir bağlantı yapısı her ölçekte fayda sağlar. Botun zamanını gerçekten değerli sayfalara yönlendirmek, içeriklerinizin daha hızlı dizine girmesine yardımcı olur.