Naar de inhoud
mavirank

Robots.txt-checker

Het robots.txt-bestand vertelt crawlers welke delen van een site ze mogen ophalen. De tool laadt het, beoordeelt de regels en toont of het ingevoerde adres is toegestaan.

Gecontroleerd door onze server, gratis en zonder account

De tool wordt geladen …

Wat de tool controleert

  • Bereikbaarheid van robots.txt en de regels erin.
  • Of het ingevoerde adres is toegestaan, en de vermelde sitemaps.

Zo werkt het

  1. Voer het adres in. Alleen openbare webadressen op de standaardpoorten worden geaccepteerd.
  2. Onze server haalt één keer op wat de controle nodig heeft, met een eigen, eerlijke botnaam, en beoordeelt het.
  3. Je krijgt de beoordeelde waarden met een korte uitleg. Van de pagina wordt niets opgeslagen.
Alle tools

De hele pagina in één audit

Een audit voert meer dan 50 tests uit, weegt ze naar ernst en vat ze samen in een score. Websites worden volgens schema opnieuw gecontroleerd.