公司是否有隐含的权利来抓取我的网站?

我发现McAfee SiteAdvisor报告我的网站是“可能有安全问题”

我对迈克菲对我的网站的看法很less(我可以自己保护,如果没有,McAfee肯定不是我要求的公司,非常感谢)。 然而,困扰我的是,他们显然没有得到我的许可就爬过我的网站。

澄清:我的网站上几乎没有内容,只是一些占位符和一些文件,供我个人使用。 没有ToS。

我的问题是:McAffee是否有权下载/抓取我的网站的内容? 我可以禁止他们这样做吗? 我有一种感觉,应该有某种“我的城堡,我的规则”的原则,但是我基本上对所有合法的东西一无所知。

更新:我可能应该提到我的服务器提供商定期向我发送有关SiteAdvisor调查结果的电子邮件 – 这就是我对他们的“评级”的了解,这就是为什么我很恼火。

这是一个合法的先例。 Field诉Google Inc.,412 F. Supp。 2d 1106,(美国内华达州内华达2006)。 谷歌赢得了一个基于几个因素的总结性判断,最值得注意的是作者没有在他的网站上的元标签中使用robots.txt文件,这将阻止谷歌爬网和caching网站所有者不想索引的页面。

裁定pdf

没有美国法律专门处理robots.txt文件; 然而,另一个法庭案件已经设置了一个先例,最终可能导致robots.txt文件被视为绕过有意的电子措施,以保护内容。 在医疗保健倡导者,公司Vs硬,埃尔利,密尔马&弗莱利,等。 医疗保健倡导者认为,Harding等人本质上是黑客的Wayback机器的function,以获得具有新版本的robots.txt文件的网页的caching文件。 虽然医疗保健倡导者失去了这种情况,地方法院指出,问题不在于Harding等人“select了locking”,而是因为Wayback机器的服务器负载问题获得访问文件的权限,Wayback Machine允许访问caching的文件,当它不应该有,因此“没有select锁”。

法院裁定pdf

恕我直言,直到有人采取这一裁决并将其转移到一边,法院才表示,robots.txt 一个锁,防止爬行,并规避它正在撬锁。

不幸的是,这些诉讼中的很多并不像“我试图告诉你的抓取工具不允许你的抓取工具忽略这些设置/命令一样简单”。 在所有这些情况下,还有许多其他问题最终会影响结果,而不是robots.txt文件在美国DCMA法律下是否应被视为电子保护方法的核心问题。

那就是说,这是美国的法律,中国的人可以做他们想做的事 – 不是因为法律问题,而是因为中国不会执行美国的商标和版权保护,好运就追随他们。

不是一个简短的答案,但真的不是一个简短的回答你的问题!

是的,他们有权这样做 – 你创build了一个公共网站,是什么让你觉得他们没有?

你当然也有权阻止他们。 您可以要求他们不要使用robots.txt来抓取您的网站,要么阻止他们使用fail2ban之类的东西访问它。

另外,不要担心,继续你的生活。 这不是什么伤害,绝对是在互联网探测的良性的一面。

这种行为是否符合伦理不是十分清楚的。

抓取公共网站的行为本身并不是不道德的(除非你明确禁止使用robots.txt或其他技术措施,并且绕过了这些行为)。

他们所做的就是冷酷地打电话给你,同时向全世界宣布你可能并不安全。 如果这损害了你的声誉,是不合理的,这是不道德的; 如果这样做,唯一的解决scheme涉及到你付钱,这是敲诈勒索。 但是,我不认为这是怎么回事。

另一次这变得不道德是有人抓取您的网站适当的内容或数据,然后代表它们自己的。 但是,这也不是什么事情。

所以,我build议他们在这种情况下的行为是道德的,你也可以忽略它。

如果你与他们没有任何关系,也没有要求电子邮件,他们的相关垃圾邮件行为是不道德的,但我怀疑他们有一个工作取消订阅。

阻止某些人或公司访问您的网站的技术方法:

您可以阻止特定IP地址或访问您网站页面的地址范围。 这是在.htaccess文件(如果您的网站在Apache Web服务器上运行)。

http://www.htaccess-guide.com/deny-visitors-by-ip-address/

让您的Web服务器logging它所访问的IP地址,然后查找这些IP地址,find与McAfee关联的IP地址。 现在可能很容易告诉你,如果你没有任何常客。

当然,他们将来可能会更改IP地址。 不过,如果您查找所find的IP地址,要查看是谁拥有这些IP地址,则可能会了解McAfee拥有的整块地址,并将其全部屏蔽。


为了这样做的法律依据:

“网站所有者可以合法阻止一些用户,法院规则”

http://www.computerworld.com/s/article/9241730/Website_owners_can_legally_block_some_users_court_rules

(如果你的网站是个人的,那么没有人会质疑你阻止一些用户的权利,但是如果是一个企业的网站,这个讨论的双方都有法律和道德上的争议。这是受法律保护的 – 而且任何人都不会太在乎抱怨。


您可能还对“拒绝访问者拒绝访问者”感兴趣。

“如果你曾经看过你的日志,注意到stream量有惊人的增长,但实际的文件请求没有增加,可能是有人捏的内容(如CSS文件)或有人试图破解你的网站(这可能只是意味着尝试find非公开的内容)“。

http://www.htaccess-guide.com/deny-visitors-by-referrer/