MavirankBot

MavirankBot は、mavirank がウェブページを取得するために使うプログラムです。ページを SEO、技術、セキュリティの観点で確認できるように読み込みます。検索インデックスは作成しません。レポートに載るのは、ページを評価した値だけです。

見分け方

MavirankBot が送信するすべてのリクエストには、以下のユーザーエージェントが付きます。かっこ内のアドレスはこのページです。

MavirankBot/1.0 (+https://mavirank.com/bot)

リクエストは HTTP または HTTPS による通常の GET リクエストです。ボットは JavaScript を実行せず、Cookie を保持せず、リダイレクトは最大 10 回までたどります。
接続には IPv4 を使用します。IP アドレスの一覧は公開していません。ユーザーエージェントに含まれる MavirankBot で見分けてください。
お客様は、自分のページの監査用に別のユーザーエージェントを設定できます（ステージング環境向けなど）。その場合も同じ制限が適用されます。

MavirankBot が自分からウェブを巡回することはありません。誰かが mavirank にページの確認を依頼したときにだけ、そのページを取得します。

お客様が依頼した監査: お客様が確認したい URL または URL の一覧を入力します。ボットはそのページと、同じサイトの robots.txt やファビコンなど少数の補助ファイルを取得します。
ウェブサイトの定期監査: お客様がウェブサイトを登録します。ボットはそのサイトマップを読み込み、記載されたページをお客様が選んだスケジュールで監査します。
公開 SEO ツール: 無料ツールの利用者が URL またはホスト名を入力します。ボットはそのツールに必要なものを 1 回だけ取得します。

スケジュール監査、サイトマップのクロール、一括監査は robots.txt に従います。MavirankBot 向けのルールが適用され、そのグループがない場合は * 向けのルールが適用されます。そこで禁止されている URL は取得しません。

Allow と Disallow は RFC 9309 に従って解釈します。Crawl-delay は考慮せず、常に下記の制限が適用されます。ファイルは最大 1 時間キャッシュされるため、変更は 1 時間以内に反映されます。

人が単一の監査を開始したり、1 つの URL に対して公開ツールを使ったりした場合、ボットは robots.txt で禁止されていても、その人のブラウザと同じようにその 1 ページを取得し、結果にそのルールを示します。

MavirankBot をサイトに近づけたくない場合は、このグループを robots.txt に追加してください。一部だけを除外する場合は、/ の代わりにそのパスを指定します。

User-agent: MavirankBot
Disallow: /

これにより、スケジュール監査、サイトマップのクロール、一括監査が止まります。人が開始した単発のチェックは、ウェブサーバーやファイアウォールがユーザーエージェントに MavirankBot を含むリクエストを拒否している場合に拒否されます。

MavirankBot がサイトで問題を起こしている、または誰かが悪用していると思われる場合は、ホスト名とリクエストの時刻をお知らせください。調査します。