Arama motoru botları sitenizi gezerken her bağlantıyı takip eder. Bazı yapılar ise bu davranışı sömürür ve botu sonu gelmeyen bir sayfa zincirine sokar. Buna tarama tuzağı denir. En sık görülen iki örnek, sonsuz takvim modülleri ile iç arama sonuç sayfalarıdır. Tarama bütçesi boşa harcandığında önemli sayfalarınızın keşfi ve güncellenmesi gecikebilir.
Sonsuz takvim tuzağı nasıl oluşur?
Etkinlik veya rezervasyon takvimlerinde “sonraki ay” bağlantısı genellikle sınırsız çalışır. Bot bu bağlantıyı tıklar, bir sonraki aya geçer, orada yine aynı bağlantıyı bulur ve yıllar, hatta yüzyıllar boyunca ilerler. Her ay ayrı bir adrese sahip olduğu için sayısız boş ya da neredeyse aynı sayfa ortaya çıkar. Fark etmenin yolu, adres yapısındaki tarih parametrelerine bakmaktır. Adreste yıl ve ay değerleri görüyor, ama 2090 gibi anlamsız tarihlere de ulaşabiliyorsanız tuzak vardır.
İç arama sayfaları neden sorun çıkarır?
Sitenizdeki arama kutusu her sorgu için yeni bir adres üretir. Bu adresler içeriden bağlantı aldığında veya biri dışarıdan bağlantı verdiğinde botlar bunları da tarar. Spam amaçlı rastgele kelimelerle üretilen binlerce arama adresi de aynı sonucu doğurur. Filtre, sıralama ve sayfalama parametreleri birleştiğinde kombinasyon sayısı katlanarak artar. Bu sayfaların çoğu ince içerikli olduğundan sitenin genel kalite algısını da zayıflatabilir.
Tuzakları tespit etmek için nereye bakmalı?
İlk adım sunucu kayıtlarıdır. Bot isteklerinin hangi adres kalıplarında yoğunlaştığını inceleyin; aynı yolun altında binlerce farklı parametreli istek görüyorsanız sorun odur. Arama konsolundaki tarama istatistikleri ve “keşfedildi, dizine eklenmedi” raporları da ipucu verir. Bir tarama aracıyla siteyi kendiniz gezdirdiğinizde, derinlik sayısının durmadan arttığını ve adres sayısının beklenenden çok fazla çıktığını görebilirsiniz.
Çözüm için hangi adımlar atılmalı?
Arama sonuç yollarını robots.txt dosyasında tarama dışı bırakın. Takvimde ileri ve geri gitmeyi makul bir tarih aralığıyla sınırlayın, sınırın ötesindeki bağlantılara nofollow ekleyin veya hiç üretmeyin. Dizine girmesini istemediğiniz parametreli sayfalara noindex etiketi koyun, ancak aynı sayfayı robots.txt ile engellemeyin; bot etiketi göremez. Benzer içerikli adresler için canonical kullanmak da işe yarar. Değişiklikten sonra kayıtları birkaç hafta izleyerek bot trafiğinin değerli sayfalara kaydığını doğrulayın.
Tarama tuzakları sessiz ilerler, ama düzenli kayıt incelemesiyle erken yakalanır. Takvim ve arama gibi dinamik bölümleri yayına almadan önce sınırlandırmak, sonradan temizlik yapmaktan çok daha az emek ister.