Arama motorlarının sitenizdeki sayfaları nasıl işleyeceğini belirlemenin birkaç yolu vardır. Bunların en etkililerinden ikisi robots meta etiketi ve X-Robots-Tag HTTP başlığıdır. İkisi de dizine eklemeyi ve bağlantıların takibini kontrol eder, ancak uygulandıkları yer ve kapsadıkları dosya türleri farklıdır.
Robots meta etiketi ne yapar?
Bu etiket, HTML sayfasının head bölümüne yerleştirilir ve o sayfaya özel talimat verir. En sık kullanılan yönergeler şunlardır: noindex sayfanın arama sonuçlarında gösterilmemesini, nofollow sayfadaki bağlantıların takip edilmemesini, nosnippet ise sonuçlarda metin özeti gösterilmemesini söyler. Varsayılan davranış index ve follow olduğu için bunları ayrıca yazmanız gerekmez. Birden fazla yönergeyi virgülle ayırarak tek etikette birleştirebilirsiniz. Belirli bir arama botunu hedeflemek isterseniz name özelliğine genel robots yerine ilgili botun adını yazabilirsiniz.
X-Robots-Tag başlığı ne zaman gerekir?
Meta etiketi yalnızca HTML içine yazılabildiği için PDF, görsel, video ya da ses dosyaları gibi kaynaklarda işe yaramaz. X-Robots-Tag, sunucunun yanıtıyla birlikte gönderilen bir HTTP başlığı olduğundan bu dosyalara da uygulanabilir. Örneğin yalnızca PDF uzantılı dosyalara noindex vermek için sunucu yapılandırmasında uzantıya göre kural tanımlayabilirsiniz. Ayrıca yüzlerce sayfaya aynı kuralı tek noktadan uygulamak gerektiğinde, örneğin test ortamının tamamını dizin dışı bırakırken, başlık yöntemi çok daha pratiktir. Kuralı ekledikten sonra yanıt başlıklarını tarayıcı geliştirici araçlarından ya da bir başlık denetleme aracıyla kontrol edin.
Sık yapılan hatalar
En yaygın hata, noindex vermek istediğiniz sayfayı robots.txt ile de engellemektir. Bot sayfayı tarayamazsa etiketi göremez ve sayfa, dışarıdan bağlantı aldığı için yine de dizinde kalabilir. Bu yüzden noindex uygulanacak sayfalar taramaya açık olmalıdır. İkinci hata, hazırlık aşamasında eklenen noindex etiketinin yayına geçişte kaldırılmayı unutulmasıdır; trafik düşüşünün sebebi çoğu zaman budur. Üçüncüsü, çelişen kurallardır: meta etiket index derken başlık noindex diyorsa arama motorları genellikle kısıtlayıcı olanı uygular. Düzenli aralıklarla tarama aracıyla sitenizi gezerek hangi sayfalarda hangi yönergenin bulunduğunu raporlamak, bu hataları erken yakalamanızı sağlar.
Hangi yöntemi seçmeli?
HTML sayfalarında tek tek kontrol istiyorsanız meta etiketi yeterlidir ve içerik yönetim sistemlerinde genellikle bir eklenti ya da ayar alanından yönetilir. HTML olmayan dosyalar veya toplu kurallar için X-Robots-Tag daha uygundur. Dizinden çıkarmak istediğiniz içerik; filtre sayfaları, iç arama sonuçları, teşekkür sayfaları gibi arama değeri taşımayan alanlarsa önce bunların gerçekten gereksiz olup olmadığını değerlendirin.
Bu iki yöntemi doğru kullanmak, arama motorlarının bütçesini önemli sayfalara yönlendirir ve istenmeyen içeriklerin sonuçlarda görünmesini önler. Her değişiklikten sonra Search Console üzerinden ilgili adresleri denetlemeyi alışkanlık haline getirin.