跳到正文
mavirank

Robots.txt 生成器

选择哪些爬虫可以获取哪些路径,并添加站点地图地址。工具在您的浏览器中写出文件。

仅在您的浏览器中运行

正在加载工具 …

工具检查的内容

  • 按 user agent 设置 allow 和 disallow 规则。
  • sitemap 行和可直接复制的文件。

工作原理

  1. 粘贴您的文本或填写字段。
  2. 工具直接在您的浏览器中运行;不会向我们的服务器发送任何内容。
  3. 复制结果。重新加载页面后,输入即消失。
全部工具

一次审计覆盖整个页面

一次审计运行 50 多项测试,按严重程度加权并汇总为一个评分。网站会按计划重新检查。