在中国的“Mozilla / 5.0(兼容; MSIE 6.0; Windows NT 5.0)”机器人定期启动HTTP下载

大约两个月后,我们在AWS上托pipe的一个软件包(〜20 MiB,.tar.gz)每天由有人使用标题中的虚假UAstring下载600次。 HTTP引用者被设置为包含指向该下载的链接的合法页面。

我还没有进行更详细的分析,但IP似乎总是来自中国,没有build立反向查询logging。 有趣的是,这个连接总是在大约1MB之后closures。

整个事情每月几十亿字节的stream量 – 显然是一个很大的事情的一小部分,但仍然足以让我想知道可能会发生什么,假设我们不是唯一的“爬”那个机器人

你有没有在你的系统上看过类似的东西? 一个想法什么样的机器人可能会在这里运行?

该string属于中国下载pipe理器迅雷下载器(又名迅雷 )。

它所做的许多令人讨厌的事情之一是它提供了直接下载资源的链接。
例如,安娜访问你的网页,并与迅雷下载justin-bieber-baby.mp4 。 迅雷将文件的URL和哈希值保存在服务器上。
第二天,Betty用B~A~B~Y.mp4从另一个站点下载B~A~B~Y.mp4B~A~B~Y.mp4也保存文件的URL和Hash值。 现在迅雷知道这两个文件是一样的。
第三天,当Cathy从该站点下载B~A~B~Y.mp4 ,迅雷也从您的站点下载该文件的一部分(使用您的站点作为加速器)。
这意味着,凯茜不会访问您的网站,但您将不得不为她提供带宽。
想象一下数百万人* 1想要下载的stream行文件(〜100MB)。 它可能会花费你〜100GB的带宽,但只给你一个访问者。

所以我最好阻止这个用户代理。

* 1:到2012年,迅雷拥有4亿用户。

Windows 2000? 我只是禁止和忘记它。 无论如何没有人有任何运行Windows 2000的业务。 (虽然我相信我们中的很多人都知道某个人还在某个地方跑步…)