Bir sayfanın arama sonuçlarında görünmesini istemediğinizde akla ilk gelen yöntemler robots.txt dosyasındaki Disallow komutu ve sayfaya eklenen noindex yönergesidir. İkisi sık karıştırılır, oysa farklı aşamalarda çalışır. Yanlış seçim, gizlemek istediğiniz sayfanın yine de sonuçlarda çıkmasına ya da önemli bir sayfanın kaybolmasına yol açabilir.
Disallow taramayı engeller, dizinlemeyi değil
Robots.txt dosyasındaki Disallow satırı, arama motoru botuna belirli bir dizine veya adrese girmemesini söyler. Bot sayfanın içeriğini okumaz. Ancak başka sitelerden ya da kendi sayfalarınızdan bu adrese bağlantı varsa, arama motoru adresi içeriğini görmeden dizine ekleyebilir. Sonuçta başlıksız ya da “bu sonuç için açıklama mevcut değil” notlu bir kayıt görebilirsiniz. Disallow bu yüzden bir gizlilik aracı değil, tarama bütçesini yönetme aracıdır. Filtre sayfaları, sonsuz takvim bağlantıları ve dahili arama sonuçları gibi bot zamanını boşa harcayan alanlar için uygundur.
Noindex dizinden çıkarır ama sayfanın okunmasını ister
Noindex, sayfanın HTML başlığına eklenen bir meta robots etiketi ya da HTTP başlığındaki X-Robots-Tag ile uygulanır. Arama motoruna sayfayı okuyabileceğini ama sonuçlara koymaması gerektiğini bildirir. Teşekkür sayfaları, kurumsal giriş ekranları, kopya içerikli etiket arşivleri ve düşük değerli sayfalar için doğru yöntemdir. Önemli nokta şudur: bot etiketi görebilmek için sayfaya erişebilmelidir. Noindex, PDF gibi HTML olmayan dosyalarda X-Robots-Tag ile verilebilir.
İkisini birlikte kullanmak neden sorun çıkarır?
En yaygın hata, aynı sayfaya hem Disallow hem noindex koymaktır. Robots.txt botu kapıda durdurduğu için noindex etiketi hiç okunmaz ve sayfa dizinde kalmaya devam edebilir. Zaten dizinde olan bir sayfayı çıkarmak istiyorsanız önce Disallow kuralını kaldırın, sayfada noindex bulunsun, bot sayfayı yeniden taradıktan ve dizinden düştüğünden emin olduktan sonra gerekirse tarama engeli ekleyin. Dizinden çıkarma sürecini Search Console üzerindeki URL denetimi ile izleyebilirsiniz.
Hangi durumda hangisini seçmelisiniz?
Sayfa sonuçlarda görünmesin diyorsanız noindex kullanın. Botun belirli bölümlerde zaman kaybetmesini önlemek istiyorsanız Disallow ekleyin. Gerçekten gizli olması gereken içerik, örneğin yönetim paneli ya da müşteri verileri için ise ikisi de yeterli değildir; parola koruması veya sunucu tarafı yetkilendirme gerekir. Ayrıca robots.txt herkesin okuyabileceği bir dosyadır, gizli dizin adlarını oraya yazmak onları ifşa edebilir.
Kısacası Disallow “girme”, noindex “gir ama listeleme” demektir. Sitenizdeki sayfa türlerini bu ayrıma göre sınıflandırır ve değişiklik sonrası Search Console’dan kontrol ederseniz, hem dizin temiz kalır hem de tarama kaynakları değerli sayfalara yönelir.