在我的服务器日志(Apache 2.2.3)中,我收到了来自useragent“Mozilla / 4.0(compatible;)”的请求。 一些快速的search似乎表明这些请求是来自试图预取页面的代理,但是这些信息并不是非常确定的。
有没有人有这些经验? 你知道这些请求的真正来源吗? 如果他们是404s,忽略他们是否安全?
示例日志:
1.1.1.1 - - [10/Jun/2010:01:55:01 -0400] "GET /popup/authentication HTTP/1.1" 404 1831 "-" "Mozilla/4.0 (compatible;)" 2.2.2.2 - - [06/Jul/2010:08:50:27 -0400] "GET /images/social/twitter.1.png HTTP/1.1" 304 - "-" "Mozilla/4.0 (compatible;)" 3.3.3.3 - - [08/Jul/2010:14:58:41 -0400] "GET /calendar/list/json/6/27/2010 HTTP/1.1" 404 46 "-" "Mozilla/4.0 (compatible;)" 4.4.4.4 - - [11/Jun/2010:13:41:27 -0400] "GET / HTTP/1.1" 200 3875 "-" "Mozilla/4.0 (compatible;)"
根据几个资源(例如这个入口 ),这些是由使用预取策略的代理工具使用的请求(它们去并且下载从用户正在访问的页面链接的所有页面以便快速地caching它们恢复)。 Blue Coat,Verizon,LookSmart和其他人都曾经在这个或那个时代被发现在他们的工具中使用这个UserAgent。
此外,据微软称,由于历史原因,某些版本的Internet Explorer使用了Mozilla / 4.0(兼容)UserAgent的变体。 在这里看到更多的细节。