我发现McAfee SiteAdvisor报告我的网站是“可能有安全问题” 。
我对迈克菲对我的网站的看法很less（我可以自己保护，如果没有，McAfee肯定不是我要求的公司，非常感谢）。 然而，困扰我的是，他们显然没有得到我的许可就爬过我的网站。
澄清：我的网站上几乎没有内容，只是一些占位符和一些文件，供我个人使用。 没有ToS。
我的问题是：McAffee是否有权下载/抓取我的网站的内容？ 我可以禁止他们这样做吗？ 我有一种感觉，应该有某种“我的城堡，我的规则”的原则，但是我基本上对所有合法的东西一无所知。
更新：我可能应该提到我的服务器提供商定期向我发送有关SiteAdvisor调查结果的电子邮件 – 这就是我对他们的“评级”的了解，这就是为什么我很恼火。
这是一个合法的先例。 Field诉Google Inc.，412 F. Supp。 2d 1106，（美国内华达州内华达2006）。 谷歌赢得了一个基于几个因素的总结性判断，最值得注意的是作者没有在他的网站上的元标签中使用robots.txt文件，这将阻止谷歌爬网和caching网站所有者不想索引的页面。
裁定pdf
没有美国法律专门处理robots.txt文件; 然而，另一个法庭案件已经设置了一个先例，最终可能导致robots.txt文件被视为绕过有意的电子措施，以保护内容。 在医疗保健倡导者，公司Vs硬，埃尔利，密尔马＆弗莱利，等。 医疗保健倡导者认为，Harding等人本质上是黑客的Wayback机器的function，以获得具有新版本的robots.txt文件的网页的caching文件。 虽然医疗保健倡导者失去了这种情况，地方法院指出，问题不在于Harding等人“select了locking”，而是因为Wayback机器的服务器负载问题获得访问文件的权限，Wayback Machine允许访问caching的文件，当它不应该有，因此“没有select锁”。
法院裁定pdf
恕我直言，直到有人采取这一裁决并将其转移到一边，法院才表示，robots.txt 是一个锁，防止爬行，并规避它正在撬锁。
不幸的是，这些诉讼中的很多并不像“我试图告诉你的抓取工具不允许你的抓取工具忽略这些设置/命令一样简单”。 在所有这些情况下，还有许多其他问题最终会影响结果，而不是robots.txt文件在美国DCMA法律下是否应被视为电子保护方法的核心问题。
那就是说，这是美国的法律，中国的人可以做他们想做的事 – 不是因为法律问题，而是因为中国不会执行美国的商标和版权保护，好运就追随他们。
不是一个简短的答案，但真的不是一个简短的回答你的问题！
是的，他们有权这样做 – 你创build了一个公共网站，是什么让你觉得他们没有？
你当然也有权阻止他们。 您可以要求他们不要使用robots.txt来抓取您的网站，要么阻止他们使用fail2ban之类的东西访问它。
另外，不要担心，继续你的生活。 这不是什么伤害，绝对是在互联网探测的良性的一面。
这种行为是否符合伦理不是十分清楚的。
抓取公共网站的行为本身并不是不道德的（除非你明确禁止使用robots.txt或其他技术措施，并且绕过了这些行为）。
他们所做的就是冷酷地打电话给你，同时向全世界宣布你可能并不安全。 如果这损害了你的声誉，是不合理的，这是不道德的; 如果这样做，唯一的解决scheme涉及到你付钱，这是敲诈勒索。 但是，我不认为这是怎么回事。
另一次这变得不道德是有人抓取您的网站适当的内容或数据，然后代表它们自己的。 但是，这也不是什么事情。
所以，我build议他们在这种情况下的行为是道德的，你也可以忽略它。
如果你与他们没有任何关系，也没有要求电子邮件，他们的相关垃圾邮件行为是不道德的，但我怀疑他们有一个工作取消订阅。
阻止某些人或公司访问您的网站的技术方法：
您可以阻止特定IP地址或访问您网站页面的地址范围。 这是在.htaccess文件（如果您的网站在Apache Web服务器上运行）。
http://www.htaccess-guide.com/deny-visitors-by-ip-address/
让您的Web服务器logging它所访问的IP地址，然后查找这些IP地址，find与McAfee关联的IP地址。 现在可能很容易告诉你，如果你没有任何常客。
当然，他们将来可能会更改IP地址。 不过，如果您查找所find的IP地址，要查看是谁拥有这些IP地址，则可能会了解McAfee拥有的整块地址，并将其全部屏蔽。
为了这样做的法律依据：
“网站所有者可以合法阻止一些用户，法院规则”
（如果你的网站是个人的，那么没有人会质疑你阻止一些用户的权利，但是如果是一个企业的网站，这个讨论的双方都有法律和道德上的争议。这是受法律保护的 – 而且任何人都不会太在乎抱怨。
您可能还对“拒绝访问者拒绝访问者”感兴趣。
“如果你曾经看过你的日志，注意到stream量有惊人的增长，但实际的文件请求没有增加，可能是有人捏的内容（如CSS文件）或有人试图破解你的网站（这可能只是意味着尝试find非公开的内容）“。