MavirankBot

MavirankBot은 mavirank이 웹 페이지를 가져올 때 사용하는 프로그램입니다. 페이지를 SEO, 기술, 보안 측면에서 점검할 수 있도록 읽습니다. 검색 색인을 만들지 않으며, 보고서에는 페이지를 평가한 값만 담깁니다.

식별 방법

MavirankBot이 보내는 모든 요청에는 아래 사용자 에이전트가 붙습니다. 괄호 안의 주소가 바로 이 페이지입니다.

MavirankBot/1.0 (+https://mavirank.com/bot)

요청은 HTTP 또는 HTTPS를 통한 단순 GET 요청입니다. 봇은 JavaScript를 실행하지 않고, 쿠키를 보관하지 않으며, 리디렉션은 최대 10회까지 따라갑니다.
IPv4로 연결합니다. IP 주소 목록은 공개하지 않습니다. 사용자 에이전트의 MavirankBot으로 봇을 식별하세요.
고객은 자신의 페이지를 진단할 때 다른 사용자 에이전트를 설정할 수 있습니다(예: 스테이징 시스템용). 이런 요청에도 같은 제한이 적용됩니다.

MavirankBot은 스스로 웹을 돌아다니지 않습니다. 누군가 mavirank에 페이지 점검을 요청했을 때만 그 페이지를 가져옵니다.

고객이 요청한 진단: 고객이 점검할 URL 또는 URL 목록을 입력합니다. 봇은 해당 페이지와 함께 robots.txt, 파비콘 등 같은 사이트의 보조 파일 몇 개를 가져옵니다.
웹사이트 반복 진단: 고객이 웹사이트를 등록합니다. 봇은 사이트맵을 읽고 거기에 나열된 페이지를 고객이 선택한 일정에 따라 진단합니다.
공개 SEO 도구: 무료 도구를 이용하는 방문자가 URL 또는 호스트 이름을 입력합니다. 봇은 해당 도구에 필요한 것을 한 번만 가져옵니다.

예약된 진단, 사이트맵 크롤링, 일괄 진단은 robots.txt를 준수합니다. MavirankBot에 대한 규칙이 적용되며, 그런 그룹이 없으면 *에 대한 규칙이 적용됩니다. 거기서 금지된 URL은 가져오지 않습니다.

Allow와 Disallow는 RFC 9309에 따라 해석합니다. Crawl-delay는 반영하지 않으며 항상 아래 제한이 적용됩니다. 파일은 최대 1시간 동안 캐시되므로 변경 사항은 1시간 이내에 반영됩니다.

사람이 단일 진단을 시작하거나 하나의 URL에 공개 도구를 사용하면, 봇은 robots.txt가 금지하더라도 그 사람의 브라우저가 하듯 해당 페이지 하나를 가져오고 결과에 그 규칙을 표시합니다.

MavirankBot이 사이트에 접근하지 못하게 하려면 이 그룹을 robots.txt에 추가하세요. 일부만 제외하려면 / 대신 해당 경로를 지정하세요.

User-agent: MavirankBot
Disallow: /

이렇게 하면 예약된 진단, 사이트맵 크롤링, 일괄 진단이 중단됩니다. 사람이 시작한 개별 점검은 웹 서버나 방화벽이 사용자 에이전트에 MavirankBot이 포함된 요청을 거부하면 거절됩니다.

MavirankBot이 사이트에 문제를 일으키거나 누군가 이를 악용하고 있다고 생각되나요? 호스트 이름과 요청 시각을 알려 주시면 확인하겠습니다.