我有一个媒体网站和用户出现的问题，并抓取所有的内容。我在网页上放置了一个不可见的URL来捕捉立即阻止IP的蜘蛛，但有些人已经找出了URLscheme，并正在创build自己的脚本。
到目前为止，我所见过的所有fail2banfilter都处理失败的login尝试，但是我希望有一个更高级的检测，然后进行速率限制和/或阻止滥用者。 刮板使用的url都是有效的，所以如果速度足够慢，我就不能说了，但是我想我可以通过fail2ban把业余爱好者排除在外。
我如何以正确的方式在fail2ban中实现这个filter，同时最小化我对合法用户的误报？
我不确定fail2ban是否是正确的工具。 你可能想看看像mod_security（ http://www.modsecurity.org/ ）。 您将能够跟踪来自会话或IP上下文的请求，定义描述可疑stream量的规则，然后相应地拒绝/减慢它。
编辑：你没有指定，所以我只是假设你使用Apache。