我们运行一个商业网站，用户数量几乎相同，只有30个用户。
经常有一个networking爬虫，如谷歌机器人，bing机器人和80legs将使我们的网站停滞不前。 更改robots.txt不会立即生效。 他们无论如何要立即停止80条腿？ 它使用不同的IP。
来自http://wiki.80legs.com/w/page/1114616/FAQ#HowdoInbspslowdown008当爬行的时候
抓取我的网站时如何减慢008？
最简单的解决scheme是与我们联系，让我们知道您希望我们在您的网站（以每秒请求数量计）抓取爬虫的速度。
当然，您也可以检查用户代理和速率限制和/或完全阻止这些请求。