防止来自AWS服务器的有问题的scraper \ mild DDoS

我们目前遇到了一个问题,那就是拥有许多不同IP地址的人,都属于AWS,每秒钟都在向我们的公共服务器发出很多请求。 用户代理是随机的,没有模式可以用来阻止连接。 我们试图阻止整个AWS的IP范围(工作),但最终打破了我们使用的一些服务(S3上传等)唯一不变的是,引用者总是设置为'google.com',显然我们不希望阻止,因为没有办法从谷歌search访问我们的网站。

有任何想法吗?

我的第一个想法是grep通过您的日志“google.com”引用,然后脚本whois查找的IPs来检查来自AWS IP空间的IP,然后拒绝入站端口80/443 TCP上的TCP防火墙。

给你一个想法:

whois <ip> | grep Amazon if [ $? -eq 0 ]; then <command to add IP to firewall reject/drop policy> fi 

如果我决定阻止他们,那就是我所要做的。 如果这给你带来性能问题,那么解决性能问题可能是谨慎的,而不是阻止它们的原因。 如果适用于您正在运行的网站types,您可能需要考虑使用nginx作为caching逆向代理。