MavirankBot

Як його розпізнати

Кожен запит MavirankBot містить наведений нижче user agent. Адреса в дужках – це ця сторінка.

MavirankBot/1.0 (+https://mavirank.com/bot)

• Запити – це звичайні запити GET через HTTP або HTTPS. Бот не виконує JavaScript, не зберігає cookie і переходить щонайбільше за 10 перенаправленнями.
• Він підключається через IPv4. Ми не публікуємо список IP-адрес; розпізнавайте бота за MavirankBot в user agent.
• Клієнти можуть задати інший user agent для аудитів власних сторінок, наприклад для тестового середовища. Для таких запитів діють ті самі обмеження.

Коли він завантажує сторінки

MavirankBot не обходить вебмережу з власної ініціативи. Він завантажує сторінку лише тоді, коли хтось доручає mavirank її перевірити.

Аудити на замовлення клієнтів

Клієнт вводить URL або список URL для перевірки. Бот завантажує цю сторінку та кілька допоміжних файлів того самого сайту, як-от robots.txt і favicon.

Регулярні аудити сайтів

Клієнти реєструють сайт. Бот читає його sitemap і перевіряє вказані там сторінки за розкладом, який обрав клієнт.

Публічні SEO-інструменти

Відвідувач наших безкоштовних інструментів вводить URL або ім’я хоста. Бот один раз завантажує те, що потрібно цьому інструменту.

robots.txt

Заплановані аудити, обходи sitemap і масові аудити дотримуються robots.txt. Діють правила для MavirankBot; якщо такої групи немає – правила для *. URL, заборонений там, не завантажується.

Allow і Disallow читаються згідно з RFC 9309. Crawl-delay не враховується; завжди діють обмеження, наведені нижче. Файл кешується щонайбільше на годину, тож зміна набуває чинності протягом години.

Коли людина запускає окремий аудит або користується публічним інструментом для одного URL, бот завантажує цю одну сторінку, навіть якщо robots.txt її забороняє, як це зробив би браузер цієї людини, і вказує правило в результаті.

Частота запитів

• Щонайбільше 2 запити на секунду до одного імені хоста, рахуючи всіх клієнтів разом.
• Щонайбільше 8 запитів на секунду до однієї IP-адреси, щоб багато імен хостів на одному сервері не примножували навантаження.
• Окремий аудит надсилає щонайбільше 20 запитів.

Як його заблокувати

Щоб не допускати MavirankBot на свій сайт, додайте цю групу до свого robots.txt. Щоб закрити лише частину, вкажіть її шлях замість /.

User-agent: MavirankBot
Disallow: /

Це зупиняє заплановані аудити, обходи sitemap і масові аудити. Окремі перевірки, запущені людиною, відхиляються, якщо ваш вебсервер або фаєрвол відхиляє запити, user agent яких містить MavirankBot.

Повідомити про проблему

MavirankBot створює проблеми на вашому сайті або ви вважаєте, що хтось ним зловживає? Повідомте нам ім’я хоста та час запитів, і ми розберемося.

Перейти на сторінку контактів