我试图阻止search引擎通过SSL版本的网站进行爬取，以防止内容重复和经典化问题。
我发现以下伟大的文章： http : //www.seoworkers.com/seo-articles-tutorials/robots-and-https.html
问题是，我使用的lighttpd，似乎没有RewriteCond指令，限制只能重写到SSL。
任何人都可以build议，如果这可能在lighttpd，并给一个片段？
提前致谢！
尝试这个：
$SERVER["socket"] == "abcd:443" { ... $HTTP["host"] =~ "<yourhostname>" { url.rewrite-once = ("^robots.txt$" => "robots_ssl.txt") } } url.rewrite-once应该在您的ssl部分的$SERVER["socket"]部分中，以便仅在您的ssl主机被访问时应用。
url.rewirte一次可以放置没有条件，但它似乎不会一直工作根据一些论坛。
如果你至less有版本1.4.19，你应该可以使用条件configuration，例如：
$HTTP["scheme"] == "https" { url.rewrite-once = ("^robots.txt$" => "robots_ssl.txt") }