我想禁止/path
但也想在robots.txt
允许/path/another-path
。 我已经尝试过了:
Disallow: /path
要么:
Disallow: /path$
但不起作用,我的意思是它阻止/path/another-path
。 有没有可能做到这一点? 任何帮助,将不胜感激。
你可以使用Allow
。 但请注意,这不是原来的“规范”的一部分,但是,一些search引擎支持它。
User-agent: * Allow: /path/another-path Disallow: /path/
例如,请参阅http://en.wikipedia.org/wiki/Robots_exclusion_standard#Allow_directive 。