MavirankBot

Come riconoscerlo

Ogni richiesta di MavirankBot porta lo user agent qui sotto. L’indirizzo tra parentesi è questa pagina.

MavirankBot/1.0 (+https://mavirank.com/bot)

• Le richieste sono semplici richieste GET via HTTP o HTTPS. Il bot non esegue JavaScript, non conserva cookie e segue al massimo 10 reindirizzamenti.
• Si connette via IPv4. Non pubblichiamo un elenco di indirizzi IP; riconosci il bot da MavirankBot nello user agent.
• I clienti possono impostare un altro user agent per gli audit delle proprie pagine, ad esempio per un sistema di staging. Queste richieste rispettano gli stessi limiti.

Quando recupera le pagine

MavirankBot non percorre il web di propria iniziativa. Recupera una pagina solo quando qualcuno incarica mavirank di controllarla.

Audit richiesti dai clienti

Un cliente inserisce un URL o un elenco di URL da controllare. Il bot recupera quella pagina e pochi file di supporto dello stesso sito, come robots.txt e la favicon.

Audit ricorrenti di siti web

I clienti registrano un sito web. Il bot legge la sua sitemap e analizza le pagine elencate con la frequenza scelta dal cliente.

Strumenti SEO pubblici

Un visitatore dei nostri strumenti gratuiti inserisce un URL o un nome host. Il bot recupera una sola volta ciò che serve a quello strumento.

robots.txt

Gli audit pianificati, le scansioni della sitemap e gli audit multipli rispettano robots.txt. Valgono le regole per MavirankBot; se manca un gruppo simile, le regole per *. Un URL vietato lì non viene recuperato.

Allow e Disallow vengono letti secondo la RFC 9309. Crawl-delay non viene valutato; valgono sempre i limiti indicati sotto. Il file resta in cache fino a un’ora, quindi una modifica ha effetto entro un’ora.

Quando una persona avvia un singolo audit o usa uno strumento pubblico per un URL, il bot recupera quella sola pagina anche se robots.txt la vieta, come farebbe il browser di quella persona, e indica la regola nel risultato.

Frequenza delle richieste

• Al massimo 2 richieste al secondo verso un nome host, contando tutti i clienti insieme.
• Al massimo 8 richieste al secondo verso un indirizzo IP, così molti nomi host su un solo server non moltiplicano il carico.
• Un singolo audit invia al massimo 20 richieste.

Come escluderlo

Per tenere MavirankBot lontano dal tuo sito, aggiungi questo gruppo al tuo robots.txt. Per escludere solo una parte, indica il suo percorso al posto di /.

User-agent: MavirankBot
Disallow: /

Questo ferma gli audit pianificati, le scansioni della sitemap e gli audit multipli. I controlli singoli avviati da una persona vengono rifiutati se il tuo server web o il tuo firewall respinge le richieste il cui user agent contiene MavirankBot.

Segnalare un problema

MavirankBot crea problemi sul tuo sito o pensi che qualcuno ne stia abusando? Indicaci il nome host e l’orario delle richieste e verificheremo.

Vai alla pagina dei contatti