我应该在robots.txt中阻止哪些漫游器和蜘蛛?

为了:

  1. 增加我的网站的安全
  2. 降低带宽要求
  3. 防止收集邮件地址

没有收集电子邮件或testing您的网站的漏洞的机器人将尊重您的robots.txt。 事实上,这些恶意机器人会查看robots.txt以更好地映射您的网站。 如果任何一点你有一个Disallow:这将被用来更好地攻击你的网站。 手动查看您的网站的黑客应该花费额外的时间检查您试图禁止的任何文件/目录。

robots.txt不会增加您的网站的安全性或防止收集电子邮件地址。 robots.txt是search引擎跳过您的网站部分的指南。 这些不会被索引,并应该用于任何你不想在公共search引擎中显示的部分。

但是,这绝不会阻止任何其他漫游器下载您的整个网站,以提高安全性或防止收集电子邮件。 为了提高安全性,您需要添加身份validation,并且只允许经过身份validation的用户超出受保护的部分 为了防止电子邮件地址收集,请勿在网站上以明文forms(或易于辨认的文本)发送电子邮件。

robots.txt不会帮助你的安全。 任何想黑幕的机器人都会忽略它。

robots.txt文件仅作为一个请求,僵尸和蜘蛛只留下某些内容; 它实际上不能阻止他们的访问。 “好”的机器人会尊重它,但是“坏”的机器人(可能是那些你想阻止的机器人)会忽略它并继续进行。

而不是robots.txt,也许你需要使用validation码。