MavirankBot

Woran du ihn erkennst

Jede Anfrage von MavirankBot trägt den folgenden User-Agent. Die Adresse in Klammern ist diese Seite.

MavirankBot/1.0 (+https://mavirank.com/bot)

• Die Anfragen sind einfache GET-Anfragen über HTTP oder HTTPS. Der Bot führt kein JavaScript aus, behält keine Cookies und folgt höchstens 10 Weiterleitungen.
• Er verbindet sich über IPv4. Eine Liste von IP-Adressen veröffentlichen wir nicht; du erkennst den Bot an MavirankBot im User-Agent.
• Kunden können für Audits ihrer eigenen Seiten einen anderen User-Agent einstellen, etwa für ein Staging-System. Für diese Anfragen gelten dieselben Grenzen.

Wann er Seiten abruft

MavirankBot durchstreift das Web nicht von sich aus. Er ruft eine Seite nur ab, wenn jemand mavirank mit ihrer Prüfung beauftragt.

Audits im Auftrag von Kunden

Ein Kunde gibt eine URL oder eine Liste von URLs zur Prüfung ein. Der Bot ruft diese Seite ab und dazu wenige Hilfsdateien derselben Website, etwa robots.txt und das Favicon.

Wiederkehrende Audits von Websites

Kunden hinterlegen eine Website. Der Bot liest ihre Sitemap und prüft die dort genannten Seiten in dem Rhythmus, den der Kunde gewählt hat.

Öffentliche SEO-Tools

Ein Besucher unserer kostenlosen Tools gibt eine URL oder einen Hostnamen ein. Der Bot ruft einmal ab, was dieses eine Tool braucht.

robots.txt

Geplante Audits, Sitemap-Crawls und Bulk-Audits halten robots.txt ein. Es gelten die Regeln für MavirankBot; fehlt eine solche Gruppe, die Regeln für *. Eine dort gesperrte URL wird nicht abgerufen.

Allow und Disallow werden nach RFC 9309 gelesen. Crawl-delay wird nicht ausgewertet; es gelten immer die Grenzen unten. Die Datei wird bis zu eine Stunde zwischengespeichert, eine Änderung wirkt also innerhalb einer Stunde.

Startet ein Mensch ein einzelnes Audit oder nutzt ein öffentliches Tool für eine URL, ruft der Bot diese eine Seite auch dann ab, wenn robots.txt sie sperrt, so wie es der Browser dieses Menschen täte, und nennt die Regel im Ergebnis.

Abrufrate

• Höchstens 2 Anfragen je Sekunde an einen Hostnamen, über alle Kunden zusammen gezählt.
• Höchstens 8 Anfragen je Sekunde an eine IP-Adresse, damit viele Hostnamen auf einem Server die Last nicht vervielfachen.
• Ein einzelnes Audit stellt höchstens 20 Anfragen.

So sperrst du ihn aus

Um MavirankBot von deiner Website fernzuhalten, ergänze diese Gruppe in deiner robots.txt. Soll nur ein Teil gesperrt sein, nenne dessen Pfad statt /.

User-agent: MavirankBot
Disallow: /

Das beendet geplante Audits, Sitemap-Crawls und Bulk-Audits. Einzelne, von einem Menschen gestartete Prüfungen werden abgewiesen, wenn dein Webserver oder deine Firewall Anfragen ablehnt, deren User-Agent MavirankBot enthält.

Ein Problem melden

Macht MavirankBot auf deiner Website Schwierigkeiten oder vermutest du, dass ihn jemand missbraucht? Nenne uns den Hostnamen und den Zeitpunkt der Anfragen, wir gehen dem nach.

Zur Kontaktseite