MavirankBot
MavirankBot 是 mavirank 用来获取网页的程序。它读取页面，是为了检查页面的 SEO、技术和安全状况。它不建立搜索索引：报告中只包含页面经过评估的数值。
如何识别它
MavirankBot 发出的每个请求都带有下面的用户代理。括号中的地址就是本页面。
MavirankBot/1.0 (+https://mavirank.com/bot)- 请求是通过 HTTP 或 HTTPS 发出的普通
GET请求。该机器人不执行 JavaScript，不保存 Cookie，最多跟随 10 次重定向。 - 它通过 IPv4 连接。我们不公布 IP 地址列表；请通过用户代理中的
MavirankBot来识别它。 - 客户可以为自己页面的审计设置其他用户代理，例如用于预发布环境。这些请求遵守同样的限制。
它何时抓取页面
MavirankBot 不会自行漫游网络。只有当有人要求 mavirank 检查某个页面时，它才会获取该页面。
- 客户发起的审计
- 客户输入一个 URL 或一组 URL 进行检查。机器人获取该页面以及同一站点的少量辅助文件，例如
robots.txt和网站图标。 - 网站的定期审计
- 客户登记一个网站。机器人读取其站点地图，并按客户选择的计划审计其中列出的页面。
- 公开的 SEO 工具
- 使用我们免费工具的访客输入一个 URL 或主机名。机器人只获取一次该工具所需的内容。
robots.txt
计划审计、站点地图抓取和批量审计遵守 robots.txt。适用针对 MavirankBot 的规则；没有这样的分组时，适用针对 * 的规则。其中禁止的 URL 不会被获取。
Allow 和 Disallow 按 RFC 9309 解读。Crawl-delay 不予采用；始终适用下面的限制。该文件最多缓存一小时，因此更改会在一小时内生效。
当有人为某个 URL 启动单次审计或使用公开工具时，即使 robots.txt 禁止，机器人也会像此人的浏览器那样获取这一个页面，并在结果中指出该规则。
请求频率
- 对同一主机名每秒最多 2 个请求，所有客户合并计算。
- 对同一 IP 地址每秒最多 8 个请求，这样同一服务器上的多个主机名不会使负载成倍增加。
- 单次审计最多发出 20 个请求。
如何将它拒之门外
要让 MavirankBot 远离你的网站，请把这个分组加入你的 robots.txt。如果只想排除一部分，请用该部分的路径代替 /。
User-agent: MavirankBot
Disallow: /这会停止计划审计、站点地图抓取和批量审计。如果你的 Web 服务器或防火墙拒绝用户代理中包含 MavirankBot 的请求，由个人发起的单次检查也会被拒绝。
报告问题
MavirankBot 给你的网站带来了麻烦，或者你认为有人在滥用它？请告诉我们主机名和请求的时间，我们会进行调查。