MavirankBot

Zo herken je hem

Elk verzoek van MavirankBot draagt de user-agent hieronder. Het adres tussen haakjes is deze pagina.

MavirankBot/1.0 (+https://mavirank.com/bot)

• De verzoeken zijn gewone GET-verzoeken via HTTP of HTTPS. De bot voert geen JavaScript uit, bewaart geen cookies en volgt hooguit 10 redirects.
• Hij verbindt via IPv4. We publiceren geen lijst met IP-adressen; herken de bot aan MavirankBot in de user-agent.
• Klanten kunnen voor audits van hun eigen pagina's een andere user-agent instellen, bijvoorbeeld voor een stagingsysteem. Voor die verzoeken gelden dezelfde limieten.

Wanneer hij pagina's ophaalt

MavirankBot struint het web niet uit zichzelf af. Hij haalt een pagina alleen op als iemand mavirank vraagt die te controleren.

Audits in opdracht van klanten

Een klant voert een URL of een lijst met URL's in om te laten controleren. De bot haalt die pagina op en een paar hulpbestanden van dezelfde site, zoals robots.txt en het favicon.

Terugkerende audits van websites

Klanten registreren een website. De bot leest de sitemap en audit de pagina's die daarin staan volgens het schema dat de klant heeft gekozen.

Openbare SEO-tools

Een bezoeker van onze gratis tools voert een URL of hostnaam in. De bot haalt één keer op wat die ene tool nodig heeft.

robots.txt

Geplande audits, sitemap-crawls en bulkaudits houden zich aan robots.txt. De regels voor MavirankBot gelden; zonder zo'n groep de regels voor *. Een URL die daar is uitgesloten, wordt niet opgehaald.

Allow en Disallow worden gelezen volgens RFC 9309. Crawl-delay wordt niet toegepast; de limieten hieronder gelden altijd. Het bestand wordt maximaal een uur gecachet, dus een wijziging werkt binnen een uur door.

Start een persoon één losse audit of gebruikt die een openbare tool voor één URL, dan haalt de bot die ene pagina ook op als robots.txt haar uitsluit, zoals de browser van die persoon zou doen, en noemt hij de regel in het resultaat.

Aantal verzoeken

• Hooguit 2 verzoeken per seconde naar één hostnaam, geteld over alle klanten samen.
• Hooguit 8 verzoeken per seconde naar één IP-adres, zodat veel hostnamen op één server de belasting niet vermenigvuldigen.
• Eén losse audit doet hooguit 20 verzoeken.

Zo houd je hem buiten

Wil je MavirankBot van je site weren, voeg dan deze groep toe aan je robots.txt. Wil je alleen een deel uitsluiten, noem dan het pad daarvan in plaats van /.

User-agent: MavirankBot
Disallow: /

Dit stopt geplande audits, sitemap-crawls en bulkaudits. Losse controles die een persoon start, worden geweigerd als je webserver of firewall verzoeken afwijst waarvan de user-agent MavirankBot bevat.

Een probleem melden

Veroorzaakt MavirankBot problemen op je site, of denk je dat iemand hem misbruikt? Geef ons de hostnaam en het tijdstip van de verzoeken door, dan zoeken we het uit.

Naar de contactpagina