Robots.txt, arama motoru botlarına sitenin hangi bölümlerini tarayabileceğini bildiren küçük bir metin dosyasıdır. Küçük olması onu masum yapmaz; tek bir yanlış satır tüm sitenin taramaya kapanmasına ya da gizlemek istediğiniz sayfaların açık kalmasına yol açabilir. Aşağıdaki hatalar, site denetimlerinde en sık karşılaşılanlardır.
Tüm siteyi yanlışlıkla engellemek
En ağır hata, “Disallow: /” satırının canlı sitede kalmasıdır. Test ortamında botları uzak tutmak için eklenen bu satır, yayına geçerken çoğu zaman unutulur. Sonuç olarak sayfalar zamanla dizinden düşebilir. Yayına çıkış kontrol listenize robots.txt dosyasını ekleyin. Tüm siteyi taramaya açmak istiyorsanız “Disallow:” satırını boş bırakmanız yeterlidir. Eğik çizgi eklemek anlamı tamamen tersine çevirir.
Yol ve karakter biçimi hataları
Yollar büyük küçük harfe duyarlıdır; “/Admin/” ile “/admin/” farklı dizinler sayılır. Yolların eğik çizgiyle başlaması gerekir, “admin/” yazmak beklenen sonucu vermez. Dizini engellerken sondaki eğik çizgiye dikkat edin: “Disallow: /blog” hem “/blog/” klasörünü hem de “/blog-yazilari” gibi yolları kapsar. Yalnızca klasörü hedefliyorsanız “/blog/” yazın. Joker karakter olarak yalnızca yıldız (*) ve satır sonu işareti olan dolar ($) desteklenir. Örneğin PDF dosyalarını engellemek için “Disallow: /*.pdf$” kullanılır. Normal ifade yazmak çalışmaz.
Yönerge ve kullanıcı aracısı karışıklıkları
Her kural grubu bir “User-agent” satırıyla başlamalıdır. Bu satırın üstüne yazılan Disallow satırları hiçbir bota ait olmaz ve yok sayılır. Belirli bir bot için ayrı grup açarsanız, o bot genel gruptaki kuralları uygulamaz, yalnızca kendi grubunu okur. Genel kuralları o gruba da kopyalamayı unutmayın. Ayrıca “Noindex” yönergesi robots.txt içinde artık desteklenmiyor; dizinden çıkarmak için sayfaya meta robots etiketi ekleyin. Bir sayfayı robots.txt ile engellerseniz bot etiketi okuyamaz, bu yüzden iki yöntemi aynı sayfada birlikte kullanmayın. Allow ile Disallow çakıştığında daha uzun ve spesifik yol önceliklidir.
Dosya konumu ve kaynak engelleme
Dosya yalnızca alan adının kök dizininde geçerlidir; alt klasöre konan robots.txt okunmaz. Her alt alan adının kendi dosyası olmalıdır. Dosya UTF-8 kodlamasında, düz metin olarak kaydedilmeli ve 200 durum kodu döndürmelidir. Sitemap satırında tam adres kullanın; göreli yol kabul edilmez. CSS ve JavaScript klasörlerini engellemek de sık yapılan bir hatadır, çünkü botlar sayfayı doğru görüntüleyemez ve değerlendirmesi zayıflayabilir.
Değişiklik yapmadan önce dosyayı arama motorunun sunduğu robots.txt test aracında deneyin, sonra kritik sayfaların hâlâ taranabildiğini URL denetimiyle doğrulayın. Düzenli kontrol, küçük bir satırın büyük kayba dönüşmesini önler.