MavirankBot

Como reconhecê-lo

Toda requisição do MavirankBot traz o user agent abaixo. O endereço entre parênteses é esta página.

MavirankBot/1.0 (+https://mavirank.com/bot)

• As requisições são requisições GET simples por HTTP ou HTTPS. O bot não executa JavaScript, não guarda cookies e segue no máximo 10 redirecionamentos.
• Ele se conecta por IPv4. Não publicamos uma lista de endereços IP; reconheça o bot por MavirankBot no user agent.
• Os clientes podem definir outro user agent para auditorias das próprias páginas, por exemplo para um ambiente de staging. Essas requisições seguem os mesmos limites.

Quando ele busca páginas

O MavirankBot não percorre a web por conta própria. Ele só busca uma página quando alguém pede ao mavirank que a verifique.

Auditorias solicitadas por clientes

Um cliente informa uma URL ou uma lista de URLs para verificação. O bot busca essa página e alguns arquivos de apoio do mesmo site, como robots.txt e o favicon.

Auditorias recorrentes de sites

Os clientes cadastram um site. O bot lê o sitemap e audita as páginas listadas nele na frequência escolhida pelo cliente.

Ferramentas de SEO públicas

Um visitante das nossas ferramentas gratuitas informa uma URL ou um nome de host. O bot busca uma única vez o que aquela ferramenta precisa.

robots.txt

Auditorias agendadas, rastreamentos de sitemap e auditorias em lote respeitam o robots.txt. Valem as regras para MavirankBot; sem um grupo assim, as regras para *. Uma URL bloqueada ali não é buscada.

Allow e Disallow são lidos conforme a RFC 9309. Crawl-delay não é avaliado; os limites abaixo valem sempre. O arquivo fica em cache por até uma hora, então uma alteração passa a valer em até uma hora.

Quando uma pessoa inicia uma auditoria individual ou usa uma ferramenta pública para uma URL, o bot busca essa única página mesmo que o robots.txt a bloqueie, como faria o navegador dessa pessoa, e indica a regra no resultado.

Frequência das requisições

• No máximo 2 requisições por segundo para um nome de host, somando todos os clientes.
• No máximo 8 requisições por segundo para um endereço IP, para que muitos nomes de host em um mesmo servidor não multipliquem a carga.
• Uma auditoria individual faz no máximo 20 requisições.

Como bloqueá-lo

Para manter o MavirankBot fora do seu site, adicione este grupo ao seu robots.txt. Para excluir só uma parte, informe o caminho dela no lugar de /.

User-agent: MavirankBot
Disallow: /

Isso interrompe auditorias agendadas, rastreamentos de sitemap e auditorias em lote. Verificações individuais iniciadas por uma pessoa são recusadas quando seu servidor web ou firewall rejeita requisições cujo user agent contém MavirankBot.

Relatar um problema

O MavirankBot está causando problemas no seu site, ou você acha que alguém o está usando de forma indevida? Informe o nome de host e o horário das requisições e vamos verificar.

Ir para a página de contato