我拒绝通过robots.txt索引到一个名为pdf的文件夹。 但是，我直接链接到该目录中存在的几个文件。
search引擎，如谷歌索引这些文件，或忽略他们，因为他们驻留在pdf文件夹？
简短的回答：不。
不允许抓取工具将您在robots.txt中放置的url前缀中的任何内容编入索引。
较长的答案：这取决于。
Allow关键字不是标准的一部分，但一些机器人将遵循它。 您可以使用它来允许一个特定的URL，并禁止包含该URL 的整个子树 。 大多数机器人以首场比赛为基础进行比赛。 无论“ Allow和“ Disallow行的顺序如何，Google和Bing都能以最长的string为基础工作。