我遇到了一个困难的情况，百度蜘蛛打我的网站每天带来3Gb的带宽。 同时我在中国做生意，所以不想阻止它。
有没有其他人在类似的情况下（任何蜘蛛）？ 你遇到了一个神奇的解决scheme？ 或者你只是接受它，并阻止或阻止机器人？
只要遵循robots.txt，就可以限制请求
User-agent: * Crawl-delay: 10