Aller au contenu
mavirank
S’inscrire
Ouvrir l’application

MavirankBot

MavirankBot est le programme avec lequel mavirank récupère des pages web. Il lit une page pour qu’elle puisse être vérifiée sur le SEO, la technique et la sécurité. Il ne construit pas d’index de recherche : seules les valeurs évaluées d’une page figurent dans un rapport.

Comment le reconnaître

Chaque requête de MavirankBot porte le user-agent ci-dessous. L’adresse entre parenthèses est cette page.

MavirankBot/1.0 (+https://mavirank.com/bot)
  • Les requêtes sont de simples requêtes GET en HTTP ou HTTPS. Le robot n’exécute pas de JavaScript, ne conserve pas de cookies et suit au maximum 10 redirections.
  • Il se connecte en IPv4. Nous ne publions pas de liste d’adresses IP ; reconnaissez le robot à MavirankBot dans le user-agent.
  • Les clients peuvent définir un autre user-agent pour les audits de leurs propres pages, par exemple pour un environnement de préproduction. Ces requêtes respectent les mêmes limites.

Quand il récupère des pages

MavirankBot ne parcourt pas le web de lui-même. Il ne récupère une page que lorsque quelqu’un demande à mavirank de la vérifier.

Audits demandés par des clients
Un client saisit une URL ou une liste d’URL à vérifier. Le robot récupère cette page et quelques fichiers annexes du même site, comme robots.txt et le favicon.
Audits récurrents de sites web
Les clients enregistrent un site web. Le robot lit son sitemap et audite les pages qui y figurent au rythme choisi par le client.
Outils SEO publics
Un visiteur de nos outils gratuits saisit une URL ou un nom d’hôte. Le robot récupère une seule fois ce dont cet outil a besoin.

robots.txt

Les audits planifiés, les explorations de sitemap et les audits groupés respectent robots.txt. Les règles pour MavirankBot s’appliquent ; sans groupe de ce nom, les règles pour *. Une URL qui y est interdite n’est pas récupérée.

Allow et Disallow sont lus selon la RFC 9309. Crawl-delay n’est pas pris en compte ; les limites ci-dessous s’appliquent toujours. Le fichier est mis en cache pendant une heure au plus : une modification prend donc effet dans l’heure.

Lorsqu’une personne lance un audit individuel ou utilise un outil public pour une URL, le robot récupère cette seule page même si robots.txt l’interdit, comme le ferait le navigateur de cette personne, et mentionne la règle dans le résultat.

Rythme des requêtes

  • Au maximum 2 requêtes par seconde vers un nom d’hôte, tous clients confondus.
  • Au maximum 8 requêtes par seconde vers une adresse IP, afin que de nombreux noms d’hôte sur un même serveur ne multiplient pas la charge.
  • Un audit individuel envoie au maximum 20 requêtes.

Comment le bloquer

Pour tenir MavirankBot à l’écart de votre site, ajoutez ce groupe à votre robots.txt. Pour n’exclure qu’une partie, indiquez son chemin à la place de /.

User-agent: MavirankBot
Disallow: /

Cela arrête les audits planifiés, les explorations de sitemap et les audits groupés. Les vérifications individuelles lancées par une personne sont refusées si votre serveur web ou votre pare-feu rejette les requêtes dont le user-agent contient MavirankBot.

Signaler un problème

MavirankBot pose problème sur votre site, ou vous pensez que quelqu’un en fait un usage abusif ? Indiquez-nous le nom d’hôte et l’heure des requêtes, nous examinerons la situation.

Aller à la page de contact