Zum Inhalt springen
mavirank

Robots.txt-Checker

Die robots.txt sagt Crawlern, welche Teile einer Website sie abrufen dürfen. Das Tool lädt sie, wertet die Regeln aus und zeigt, ob die eingegebene Adresse erlaubt ist.

Geprüft von unserem Server, kostenlos und ohne Konto

Das Tool wird geladen …

Was das Tool prüft

  • Erreichbarkeit der robots.txt und die enthaltenen Regeln.
  • Ob die eingegebene Adresse für Crawler erlaubt ist, und die genannten Sitemaps.

So funktioniert es

  1. Gib die Adresse ein. Angenommen werden nur öffentliche Webadressen auf den Standard-Ports.
  2. Unser Server ruft einmal ab, was die Prüfung braucht – mit eigener, ehrlicher Bot-Kennung – und wertet es aus.
  3. Du erhältst die ausgewerteten Werte mit einer kurzen Erklärung. Von der Seite wird nichts gespeichert.
Alle Tools

Die ganze Seite in einem Audit

Ein Audit führt mehr als 50 Tests aus, gewichtet sie nach Schwere und fasst sie zu einem Score zusammen. Websites werden nach Zeitplan erneut geprüft.