我有一个/24networking中的几个网站，都经常被谷歌抓取。 通常这很好。 但是，当Google开始同时抓取所有网站时，支持这个IP块的一小组服务器可以承受相当大的负载。
使用谷歌网站pipe理员工具，您可以对给定域名上的googlebot进行速率限制，但是我还没有find一种方法来限制IPnetworking中的bot。 任何人都有这方面的经验？ 你是怎么解决的？
如果你运行BGP，你可以简单地对AS15169（AS-GOOGLE）进行速率限制，但是手工操作可能会非常容易出错。
我发现这些笔记有趣的追求
你可以去谷歌，并与网站pipe理员工具创build一个帐户，然后你可以控制每个网站的抓取速度 。 转到网站configuration::设置::爬网率。 这不会让你按照我不相信的顺序排列你的网站，但是你至less可以把它们全部放慢。
不，不可以。 你要把它放到每个站点的robots.txt中。 谷歌 – 正确 – 不必为“IP地址拥有者”这么说。 所有的控制来自网站上的robots.txt。