MavirankBot
MavirankBot es el programa con el que mavirank obtiene páginas web. Lee una página para que pueda revisarse en cuanto a SEO, tecnología y seguridad. No crea un índice de búsqueda: a un informe solo llegan los valores evaluados de una página.
Cómo reconocerlo
Cada solicitud de MavirankBot lleva el siguiente user-agent. La dirección entre paréntesis es esta página.
MavirankBot/1.0 (+https://mavirank.com/bot)- Las solicitudes son solicitudes
GETsencillas por HTTP o HTTPS. El bot no ejecuta JavaScript, no conserva cookies y sigue como máximo 10 redirecciones. - Se conecta por IPv4. No publicamos una lista de direcciones IP; reconoce al bot por
MavirankBoten el user-agent. - Los clientes pueden definir otro user-agent para las auditorías de sus propias páginas, por ejemplo para un entorno de staging. Esas solicitudes respetan los mismos límites.
Cuándo obtiene páginas
MavirankBot no recorre la web por su cuenta. Solo obtiene una página cuando alguien encarga a mavirank que la revise.
- Auditorías encargadas por clientes
- Un cliente introduce una URL o una lista de URL para revisarla. El bot obtiene esa página y unos pocos archivos auxiliares del mismo sitio, como
robots.txty el favicon. - Auditorías periódicas de sitios web
- Los clientes registran un sitio web. El bot lee su sitemap y audita las páginas que figuran en él con la frecuencia que eligió el cliente.
- Herramientas SEO públicas
- Un visitante de nuestras herramientas gratuitas introduce una URL o un nombre de host. El bot obtiene una sola vez lo que necesita esa herramienta.
robots.txt
Las auditorías programadas, los rastreos de sitemap y las auditorías masivas respetan robots.txt. Se aplican las reglas para MavirankBot; si no hay un grupo así, las reglas para *. Una URL bloqueada allí no se obtiene.
Allow y Disallow se leen según RFC 9309. Crawl-delay no se evalúa; siempre se aplican los límites de abajo. El archivo se guarda en caché hasta una hora, así que un cambio surte efecto en menos de una hora.
Cuando una persona inicia una auditoría individual o usa una herramienta pública para una URL, el bot obtiene esa única página aunque robots.txt la bloquee, como haría el navegador de esa persona, e indica la regla en el resultado.
Frecuencia de solicitudes
- Como máximo 2 solicitudes por segundo a un nombre de host, contando a todos los clientes juntos.
- Como máximo 8 solicitudes por segundo a una dirección IP, para que muchos nombres de host en un mismo servidor no multipliquen la carga.
- Una auditoría individual hace como máximo 20 solicitudes.
Cómo impedirle el acceso
Para mantener a MavirankBot fuera de tu sitio, añade este grupo a tu robots.txt. Para excluir solo una parte, indica su ruta en lugar de /.
User-agent: MavirankBot
Disallow: /Esto detiene las auditorías programadas, los rastreos de sitemap y las auditorías masivas. Las comprobaciones individuales iniciadas por una persona se rechazan si tu servidor web o tu cortafuegos rechaza las solicitudes cuyo user-agent contiene MavirankBot.
Informar de un problema
¿MavirankBot causa problemas en tu sitio o crees que alguien lo está usando de forma indebida? Indícanos el nombre de host y la hora de las solicitudes y lo investigaremos.