Eski SEO alışkanlıklarından biri, sunucu yükünü azaltmak veya gereksiz dosyaları gizlemek için robots.txt içinde stil ve betik klasörlerini engellemektir. Bugün arama motorları sayfaları bir tarayıcı gibi çalıştırıp görüntülüyor. Bu yüzden CSS ve JS dosyalarına erişimi kapatmak, sitenizin değerlendirilme biçimini doğrudan etkileyebilir.
Arama motorları sayfayı nasıl işler?
Tarama botu önce HTML dosyasını indirir, ardından sayfanın ihtiyaç duyduğu kaynakları getirir. Bu kaynaklar arasında stil dosyaları, betikler ve bazen yazı tipleri bulunur. Ardından sayfa işlenir ve ortaya çıkan görünüm değerlendirilir. Kaynaklar engellenmişse bot yalnızca çıplak HTML’yi görür. Menüler, sekmeler, sonradan yüklenen ürün listeleri ve yorum alanları eksik kalabilir. Sayfanın gerçekte ne sunduğu yanlış anlaşılır.
Engellemenin doğurduğu sorunlar
İlk risk, içeriğin hiç görülmemesidir. İçeriği JavaScript ile oluşturan bir sayfada betik engellenirse metin botun karşısına hiç çıkmaz ve sayfa neredeyse boş sayılabilir. İkinci risk mobil uyumluluğun yanlış değerlendirilmesidir. Duyarlı tasarım kuralları CSS içinde durur. Dosya okunamazsa sayfa mobilde bozuk görünüyormuş gibi algılanabilir. Üçüncü risk, kullanıcı deneyimi ölçümlerinin sağlıklı yorumlanamamasıdır. Düzen kayması, reklam yerleşimi ve ekranı kaplayan öğeler stil ve betiklere bağlıdır. Bunlar görülemediğinde sitenizin kalitesi gerçekte olduğundan farklı okunabilir. Son olarak, yönlendirme ve gizli içerik gibi durumlar şüpheli görünebilir; botun gördüğü ile kullanıcının gördüğü arasındaki fark güven sorunu yaratır.
Mevcut durumu nasıl kontrol edersiniz?
Robots.txt dosyanızı açıp Disallow satırlarına bakın. Tema, eklenti veya betik klasörlerini kapsayan kurallar varsa dikkatle inceleyin. Arama konsolundaki URL denetim aracında sayfanızı canlı olarak test edin ve botun gördüğü ekran görüntüsüyle yüklenemeyen kaynakların listesini karşılaştırın. Robots.txt test araçları da belirli bir dosya adresinin engellenip engellenmediğini hızlıca gösterir. Eski bir kural yüzünden kritik bir dosya kapalıysa ilgili satırı kaldırın ya da Allow ile istisna tanımlayın.
Doğru yapılandırma için öneriler
Sayfanın görünümü veya içeriği için gerekli hiçbir stil, betik ya da görsel dosyasını engellemeyin. Engellemeyi yönetim paneli, arama sonuç sayfaları, sepet ve oturum adresleri gibi aramada değer taşımayan alanlara ayırın. Bir klasörü kapatmanız gerekiyorsa içindeki gerekli dosyalar için ayrı Allow kuralı yazın. Her tema veya eklenti güncellemesinden sonra dosya yollarının değişip değişmediğini kontrol edin. Dizine eklenmesini istemediğiniz sayfalar için robots.txt yerine noindex etiketini kullanın; çünkü tarama engeli, dizinden çıkarmanın güvenilir yolu değildir.
Robots.txt küçük bir dosya gibi görünse de yanlış bir satır sitenin tamamının algısını değiştirebilir. Kaynakları açık bırakmak, arama motorunun sayfanızı ziyaretçilerinizle aynı şekilde görmesini sağlar.