MavirankBot

Nasıl tanınır

MavirankBot'un her isteği aşağıdaki user agent değerini taşır. Parantez içindeki adres bu sayfadır.

MavirankBot/1.0 (+https://mavirank.com/bot)

• İstekler HTTP veya HTTPS üzerinden gönderilen yalın GET istekleridir. Bot JavaScript çalıştırmaz, çerez saklamaz ve en fazla 10 yönlendirmeyi izler.
• IPv4 üzerinden bağlanır. IP adresi listesi yayımlamıyoruz; botu user agent içindeki MavirankBot ifadesinden tanıyabilirsiniz.
• Müşteriler kendi sayfalarının denetimleri için, örneğin bir staging sistemi için, farklı bir user agent ayarlayabilir. Bu istekler de aynı sınırlara uyar.

Sayfaları ne zaman getirir

MavirankBot web'i kendi başına dolaşmaz. Bir sayfayı yalnızca birisi mavirank'den o sayfayı incelemesini istediğinde getirir.

Müşterilerin istediği denetimler

Bir müşteri incelenmesi için bir URL veya URL listesi girer. Bot o sayfayı ve aynı sitenin robots.txt ve favicon gibi birkaç yardımcı dosyasını getirir.

Web sitelerinin yinelenen denetimleri

Müşteriler bir web sitesi kaydeder. Bot site haritasını okur ve orada listelenen sayfaları müşterinin seçtiği zamanlamayla denetler.

Herkese açık SEO araçları

Ücretsiz araçlarımızı kullanan bir ziyaretçi bir URL veya host adı girer. Bot, o aracın ihtiyaç duyduğu şeyi bir kez getirir.

robots.txt

Zamanlanmış denetimler, site haritası taramaları ve toplu denetimler robots.txt dosyasına uyar. MavirankBot için yazılmış kurallar geçerlidir; böyle bir grup yoksa * kuralları geçerlidir. Orada yasaklanan bir URL getirilmez.

Allow ve Disallow RFC 9309'a göre okunur. Crawl-delay değerlendirilmez; her zaman aşağıdaki sınırlar geçerlidir. Dosya en fazla bir saat önbellekte tutulur, yani bir değişiklik bir saat içinde etkili olur.

Bir kişi tek bir denetim başlattığında veya bir URL için herkese açık bir aracı kullandığında bot, robots.txt yasaklasa bile o tek sayfayı, o kişinin tarayıcısının yapacağı gibi getirir ve kuralı sonuçta belirtir.

İstek sıklığı

• Tüm müşteriler birlikte sayılmak üzere, bir host adına saniyede en fazla 2 istek.
• Tek bir sunucudaki çok sayıda host adının yükü katlamaması için bir IP adresine saniyede en fazla 8 istek.
• Tek bir denetim en fazla 20 istek gönderir.

Nasıl engellenir

MavirankBot'u sitenizden uzak tutmak için bu grubu robots.txt dosyanıza ekleyin. Yalnızca bir bölümü hariç tutmak için / yerine o bölümün yolunu yazın.

User-agent: MavirankBot
Disallow: /

Bu, zamanlanmış denetimleri, site haritası taramalarını ve toplu denetimleri durdurur. Bir kişinin başlattığı tekil kontroller, web sunucunuz veya güvenlik duvarınız user agent değeri MavirankBot içeren istekleri reddederse geri çevrilir.

Sorun bildirin

MavirankBot sitenizde soruna mı yol açıyor ya da birinin onu kötüye kullandığını mı düşünüyorsunuz? Bize host adını ve isteklerin zamanını bildirin, inceleyelim.

İletişim sayfasına git