Arama motoru botları bir siteye sınırsız zaman ayırmaz. Sayfa sayısı arttıkça önemli içerikler geç taranabilir, değersiz adresler ise bot trafiğinin büyük kısmını tüketebilir. Bunu görmenin ilk yolu, sitede gerçekte kaç sayfa olduğunu ve bunların ne işe yaradığını gösteren bir sayfa envanteri hazırlamaktır.
Envanter için veri kaynaklarını birleştirin
Tek bir kaynak sitenin tamamını göstermez. Önce bir tarama aracıyla ana sayfadan başlayarak iç bağlantıları izleyen bir döküm alın. Ardından site haritasındaki adresleri, sunucu erişim kayıtlarındaki bot isteklerini ve arama konsolundaki dizin durumu raporunu ekleyin. Bu dört listeyi tek bir tabloda birleştirdiğinizde şu farkları görürsünüz: haritada olup iç bağlantısı olmayan sayfalar, botun ziyaret ettiği ama haritada bulunmayan adresler ve hiç taranmamış içerikler.
Her URL için temel sütunları doldurun
Tabloda her adres için durum kodu, canonical hedefi, robots yönergesi, sayfa türü, iç bağlantı sayısı, tıklama derinliği ve son bot ziyaret tarihi yer almalı. Sayfa türünü ürün, kategori, blog, filtre, arama sonucu, etiket gibi gruplara ayırmak analizi kolaylaştırır. Tıklama derinliği dörtten büyük olan değerli sayfalar genellikle geç keşfedilir. Sunucu kayıtlarından çıkardığınız bot istek sayısını tür bazında toplayın; hangi grubun bütçeyi en çok yediğini bu rakam net biçimde gösterir.
Sayfaları karar gruplarına ayırın
Envanter bittiğinde her satıra bir karar atayın. Trafik veya gelir getiren sayfalar korunur ve iç bağlantıyla güçlendirilir. Zayıf ama benzersiz içerikler geliştirilir ya da birleştirilir. Kopya, parametreli ve süresi dolmuş adresler yönlendirilir, canonical ile işaretlenir veya kaldırılır. Filtre kombinasyonları gibi sonsuz üreyen yapılar ise robots dosyası ya da noindex ile sınırlandırılır. Yönlendirme zincirlerini tek adıma indirmek ve 404 dönen sayfalara verilen iç bağlantıları temizlemek de botun boşa harcadığı istekleri azaltır.
Envanteri düzenli olarak güncelleyin
Envanter bir kerelik iş değildir. Yeni kategori, kampanya sayfası veya şablon değişikliği kısa sürede yeni URL kalabalığı yaratabilir. Üç ayda bir tarama ve kayıt analizini tekrarlayın, bot isteklerinin sayfa türlerine dağılımını önceki dönemle karşılaştırın. Önemli sayfaların ziyaret sıklığı artıyor, gereksiz adreslerin payı düşüyorsa yaptığınız temizlik işe yarıyor demektir.
İyi hazırlanmış bir envanter, hangi sayfaların kalacağına tahmine değil veriye dayanarak karar vermenizi sağlar. Küçük bir tabloyla başlayıp her dönem genişletmek, tarama verimliliğini sürdürülebilir kılar.