Robots.txt, sitenizin kök dizinine konan ve botlara hangi bölümleri tarayabileceklerini bildiren düz metin dosyasıdır. Bir botun siteye geldiğinde ilk baktığı yerlerden biridir. Dosya bir güvenlik duvarı değil, nazik bir yönlendirmedir; kurallara uymak tamamen botun inisiyatifindedir.
Dosyanın temel yapısı
Dosya, alan adınızın hemen altında yer almalıdır, örneğin alanadi.com/robots.txt. Alt klasöre konan dosya dikkate alınmaz. İçinde en sık kullanılan komutlar şunlardır: User-agent hangi botun hedeflendiğini, Disallow engellenen yolu, Allow ise engel içindeki istisnayı belirtir. Yıldız işareti tüm botları kapsar. Sitemap satırı ise site haritanızın adresini göstermek için kullanılır. Örneğin “Disallow: /sepet/” satırı, sepet klasörünün taranmamasını ister. Boş bırakılan bir Disallow satırı ise hiçbir kısıtlama olmadığı anlamına gelir.
Botlar kuralları nasıl yorumlar?
Bot önce kendi adına özel bir blok arar. Bulursa yalnızca o bloğu uygular, genel yıldızlı bloğu görmezden gelir. Bulamazsa yıldızlı bloğa döner. Aynı URL için hem Allow hem Disallow eşleşirse, büyük arama motorları genellikle daha uzun ve daha spesifik olan kuralı seçer. Yol eşleşmesi baştan başlar ve büyük küçük harfe duyarlıdır. Ayrıca yıldız karakteri joker olarak, dolar işareti ise adresin sonunu belirtmek için kullanılabilir; örneğin “Disallow: /*.pdf$” tüm PDF dosyalarını hedefler. Dosya ulaşılamazsa durum da önemlidir: 404 yanıtı çoğu botta sınırsız tarama izni gibi yorumlanırken, sunucu hatası taramanın geçici olarak durmasına yol açabilir.
Sık yapılan hatalar
En büyük yanılgı, robots.txt ile bir sayfayı dizinden çıkarmaya çalışmaktır. Engellenen bir sayfa taranmaz ama başka sitelerden link alıyorsa yine de sonuçlarda görünebilir. Sayfanın dizine girmesini önlemek için noindex etiketi kullanın ve botun bu etiketi görebilmesi için sayfayı robots.txt ile engellemeyin. İkinci hata, CSS ve JavaScript klasörlerini kapatmaktır; bu durumda arama motoru sayfayı doğru görüntüleyemez. Üçüncü hata ise yayına geçişte test ortamından kalan “Disallow: /” satırını silmeyi unutmaktır; tüm siteyi kapatır ve görünürlük hızla düşer. Gizli bilgileri bu dosyayla saklamayın, çünkü dosya herkesin okuyabildiği açık bir metindir ve yasak yolları ifşa edebilir.
Test ve bakım
Değişiklik yaptıktan sonra dosyayı tarayıcıda açıp güncel halini doğrulayın. Arama motorlarının webmaster araçlarındaki robots.txt raporu, dosyanın son okunma durumunu ve olası hataları gösterir. Önemli bir sayfanın engellenip engellenmediğini URL denetim aracıyla tek tek kontrol edebilirsiniz. Site yapısı değiştiğinde, yeni bölümler eklendiğinde ya da yönetim paneli yolları farklılaştığında kuralları gözden geçirmek iyi bir alışkanlıktır. Kuralları sade tutmak, hata riskini de azaltır.
Robots.txt küçük bir dosya gibi görünse de tarama bütçesini doğru yönetmenin ilk adımıdır. Gereksiz sayfaları taramadan uzak tutun, önemli içerikleri açık bırakın ve her güncellemeden sonra test etmeyi ihmal etmeyin.