我正在维护一些networking爬虫。 我想改善我们的负载/节stream系统，使其更加智能化。
因为我看着回应代码，并基于此来加快或减less。 我虽然喜欢系统更好地根据所请求的服务器的行为来dynamic调整速率。 比方说，这是一个非常繁忙的时间，目标networking服务器正在经历不寻常的高stream量或别的东西。 然后我想检测一下，把我旁边的要求降低到有礼貌的程度，当服务器恢复正常的时候恢复正常。
什么是症状，我应该得出结论作为指标，以减less？ 那么我的指标又会如何呢？
我一直在考虑logging每个请求的响应时间，例如最近一小时。 问题是，要find一个合理的平均/中位请求时间是非常困难的，因为所有的服务器都是不同的，甚至同一个网站中的资源也会以不同的速度进行响应。 我一直在考虑的另一件事是寻找响应时间的波动，但我不知道这是一个常见的症状，或者更常见的是，所有的请求只需要更长的时间。