Yandex.ru蜘蛛被称为违反robots.txt。 在Apache中,您可以在htaccess文件中禁用yandex。 我怎样才能用Tomcat做同样的事情? 我使用的是Ubuntu服务器,所以我在hosts.deny中input适当的条目,但是我不确定是否
ALL: yandex.ru
将是足够和有效的,导致bot的经常被命名为像spider31.yandex.ru。 你可以通过hosts.deny(或其他方式)显示阻止这个机器人的例子吗?
你想把它放在hosts.deny中:
ALL:.yandex.ru
注意到。 这意味着任何子域的。