服务器 Gind.cn
  1. 服务器 Gind.cn
  3. 如何限制Googlebot的抓取速度？
Intereting Posts
网卡在虚拟服务器上丢失所有连接 监狱用户通过SSH / var / www / username目录 pipe理多个无线路由器 允许用户访问单个Git存储库 如何从停止错误0xc00002e2恢复Hyper-V来宾域控制器 具有多个IP地址的服务器上的Postfix会在头中发送错误的HELO邮件 Windows CE 5.0 – 6.0 RDP到Windows服务器2012 R2 使用Hiera设置全局variables 捕获后如何阻止数据包？ 我是否应该为Hyper-V中的各种虚拟机虚拟分配一个多端口NIC？ 如何批量编辑文件列表？ Windows 7 802.1x有线身份validation到单点login域 ELK：LogStash从远程Samba映射的networking驱动器读取日志文件 如何将Linux服务器设置为具有NAT的路由器 我怎样才能看到谁在VPN和多久？

如何限制Googlebot的抓取速度？

我的一台服务器有问题。 谷歌打开很多的HTTP连接到Apache服务器，基本上执行slowloris攻击。

这个netstat调用导致以下输出 

netstat -plant|grep :80|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -n 11 209.85.227.93 14 209.85.227.190 30 209.85.229.118 494 209.85.229.141

所有这些IP都属于谷歌networking。 我已经禁止Google通过使用robots.txt来访问保存在服务器上的任何内容，但是对于疯狂的连接数量没有影响。 我该怎么办？

去谷歌网站pipe理员工具，进入节stream 。

其他几个蜘蛛会遵守robots.txt的Crawl-delay指令，但Googlebot不会。