大量重复的Web请求的原因

我看到我的网站奇怪的stream量。 有时,可能每天几次,我会从相同的IP地址获得相同的URI几分钟的请求,速度从每秒一个到每秒几百个。 除了时间戳之外,请求看起来完全相同。 除了在每个单独的内容中相同之外,对URI或IP或请求的任何其他方面似乎没有任何模式。 值得注意的是,它似乎涵盖了所有的浏览器。

乍一看,它似乎是一个DOS,但在大多数时候,这是真的不够的stream量,并有一些其他特点的请求,使我相信这不是一个恶意的攻击,包括事实他们中的许多人都来自经过validation的用户,而我所调查的所有用户似乎都发生在网站上正常会话的内部。

我几乎认为这是无意的。 但是这导致我相信,无论是在我们的网站上有什么东西混淆了浏览器提出了大量的请求,或者有一些用户的行为正在造成风波。

这提出了这些问题:

  • 如果这只是一个用户行为,似乎这种模式将存在于除我以外的网站上。 我还没有听说过这样的事情,但值得问一下其他人是否看过这种types的stream量。 那么有人吗?
  • 如果我们的网页内容中有东西可能导致这种情况,那么以前可能有人遇到过这种情况。 任何人有任何见解吗?

我已经放了一些限制,这不太可能影响网站的性能,但我真的很想find某种根本原因。 如果我在这里找不到任何东西,我会直接开始询问我可以识别的用户,但如果可能的话,我宁愿在内部处理它。

我收集这些日志的Web服务器在F5负载均衡器后面。 日志来自Apache,并且日志显示不同的时间戳,所以这不是logging错误。 另外,我们可以看到数据库服务器日志中的多个请求的副作用等等。

用户可能正在抓取数据,但似乎不太可能。 我希望能先find一个技术性的解释。 如果我找不到一个,我会转向寻找社会解释。