跳到正文
mavirank

Robots.txt 检查

robots.txt 文件告诉爬虫可以获取网站的哪些部分。工具加载它,评估规则,并显示您输入的地址是否被允许。

由我们的服务器检查,免费且无需账户

正在加载工具 …

工具检查的内容

  • robots.txt 的可访问性及其中的规则。
  • 输入的地址是否被允许,以及列出的站点地图。

工作原理

  1. 输入地址。仅接受标准端口上的公开网址。
  2. 我们的服务器使用自己诚实的机器人标识,只获取一次检查所需的内容并进行评估。
  3. 您会得到评估后的数值和简短说明。不会存储页面的任何内容。
全部工具

一次审计覆盖整个页面

一次审计运行 50 多项测试,按严重程度加权并汇总为一个评分。网站会按计划重新检查。