我们在Web服务器上遇到很多stream量和服务器负载。
我所能find的是一直威严的访问页面。
我想知道如何防止索引该网站雄伟12
他们尊重任何robots.txt条目，我怎么写这样一个有价值的东西？
根据Majestic 12自己的关于robots.txt的页面 ，他们完全尊重机器人排除（第三回答）。 robots.txt文件是您网站根目录下的纯文本文件，即您将它放在：
http://www.yourdomain.com/robots.txt 并在文件中有这些行：
User-agent: MJ12bot Disallow: /
所以如果你想阻止那个机器人，我没有看到任何问题，除非你被他们提到的一个假机器人所打击。
对于op的后续问题：
我想知道他们是否提到过所有的假机器人。 为什么有人声称自己是雄伟的？
这将是一个虚假的国旗操作。 病毒伪装成一个合法的机器人/进程来抓取ip的。 解释是在威严的方式下。