Analiz panelinizde ziyaretçi sayısı artarken satış ya da form dolduran kişi sayısı aynı kalıyorsa, trafiğin bir kısmı insan olmayabilir. Botların hepsi zararlı değildir; arama motoru tarayıcıları siteniz için gereklidir. Sorun, kötü niyetli yazılımların bu tarayıcıları taklit etmesi ve verilerinizi bozmasıdır.
Bot trafiğinin belirtileri
İlk işaret, davranış kalıplarındaki tuhaflıktır. Oturum süresi sıfıra yakın, tek sayfa görüntüleyip çıkan ziyaretler birdenbire artmışsa dikkat edin. Aynı dakikada yüzlerce istek gelmesi, sitenizin hiç ziyaret almayan eski sayfalarına yoğun talep olması ya da gece saatlerinde ani trafik sıçramaları da şüphelidir. Coğrafi dağılım da ipucu verir: hedef kitleniz dışındaki bir ülkeden gelen ve tek bir ağ bloğunda toplanan ziyaretler genellikle otomatiktir. Ayrıca doğrudan trafik kaynağında anormal yükselme ve ekran çözünürlüğü ya da dil bilgisinin boş görünmesi, analiz araçlarının tetiklendiği ama gerçek bir tarayıcının çalışmadığı anlamına gelebilir.
Sahte arama motoru tarayıcılarını yakalamak
Kötü botlar çoğunlukla kullanıcı aracısı (user agent) bilgisini değiştirip kendilerini bilinen bir arama motoru tarayıcısı gibi tanıtır. Bu yüzden yalnızca bu başlığa güvenmek yanlıştır. Doğru yöntem ters DNS doğrulamasıdır: İstek yapan IP adresinin alan adını sorgulayın, bu alan adının arama motorunun resmi alan adlarından birine ait olduğunu görün, sonra bu alan adını tekrar IP adresine çevirip aynı adrese ulaştığını doğrulayın. Büyük arama motorları ayrıca resmi IP aralıklarını yayımlar; sunucu kayıtlarınızdaki istekleri bu listelerle karşılaştırabilirsiniz. Eşleşmeyen istekleri güvenlik duvarında engellemek, taramanın gerçek botlara açık kalmasını sağlar.
Sunucu kayıtları ve analiz araçlarıyla ayrım
Analiz araçları çoğu botu eler, ama JavaScript çalıştırmayan istekler zaten sayılmayabilir. Gerçek tabloyu sunucu erişim kayıtları verir. Kayıtlarda sık tekrar eden IP adreslerini, olmayan sayfalara yönelen istekleri ve çok sayıda 404 hatası üreten kaynakları arayın. Giriş sayfası, arama kutusu ve form adresleri gibi hassas noktalara yönelen art arda istekler kaba kuvvet denemesine işaret edebilir. Analiz aracında bot filtresini açın, şüpheli ağ sağlayıcılarını ve IP aralıklarını filtreleyerek verinin temiz bir kopyasını ayrı bir görünümde izleyin. Böylece dönüşüm oranlarınız gerçeğe daha yakın hesaplanır.
Önlem almak
İstek hızı sınırlaması koymak, formlarda görünmez doğrulama alanı ya da basit bir doğrulama testi kullanmak ve robots.txt dosyasını güncel tutmak ilk adımlardır. Unutmayın, robots.txt kurallarına kötü botlar uymaz; bu dosya yalnızca dürüst tarayıcılar içindir. Bir içerik dağıtım ağı ya da web uygulaması güvenlik duvarı, olağandışı istekleri sunucunuza ulaşmadan süzebilir. Engelleme kurallarını eklerken gerçek tarayıcıları yanlışlıkla kapatmamak için önce kayıt tutma moduyla test edin.
Bot trafiğini ayırmak, bir kerelik iş değil düzenli bir kontrol alışkanlığıdır. Ayda bir kayıtları gözden geçirip doğrulama yapmanız, hem verilerinizi hem de sunucu kaynaklarınızı korur.