对于我的登台服务器，我试图找出一种方法来完全阻止search引擎机器人，而不是一个单独的.htaccess文件或robots.txt文件。 这个想法是，当在登台服务器上创build一个新站点的时候，这是不可能的。 有没有办法使用apache模块检测机器人的用户代理，并在服务器级别阻止该连接？
谢谢！
我的build议是阻止除已知良好的testing代理string之外的所有内容。 这样你阻止你从来没有听说过的机器人。 您也可以使用％{REMOTE_ADDR}来阻止所有已知的IP地址。
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} !YourTestingAgent RewriteRule (.*) /404.html