如何阻止坏机器人,蜘蛛,履带和收割机
我厌倦了这个糟糕的机器人,蜘蛛,爬行器和收割机。 我已经configuration我的服务器阻止连接IP 5分钟和maxretry 250使用fail2ban。 但是仍然有一部分人在250分钟内无法拦截,因为他们在5分钟内没有访问250个以上。 这是我的jail.localconfiguration: [http-get-dos] enabled = true filter = http-get-dos logpath = /var/log/ispconfig/httpd/*/access.log maxretry = 250 findtime = 300 #ban for 10 hours bantime = 36000 action = iptables-multiport[name=HTTP, port="http,https", protocol=tcp] cloudflare-blacklist sendmail-whois[name=HTTP, [email protected]] 这里是http-get-dos.conffilter文件: [Definition] failregex = ^<HOST> -.*"(GET|POST) ignoreregex = 可以阻止这个爬虫的教程的大部分是使用Apache。 但是因为我使用nginx,所以我不能使用它们。 这是我find的一个教程 。 这里是这个机器人的例子日志: 220.225.127.41 – – [24/Jul/2013:00:00:19 +0800] […]