我有这个robots.txt：
User-Agent: * Disallow: /files/ User-Agent: ia_archiver Allow: / User-agent: Googlebot Disallow: User-agent: googlebot-image Disallow: User-agent: googlebot-mobile Disallow: 我发现/ files /目录中的PDF文件正在被Google索引。
我应该把第一个入口移到底部吗？
与Google的网站pipe理员工具一起工作。 我将/ files / disallow移动到底部，并在文件目录中的一个PDF文件上运行testing，并返回Success。
我该如何解决这个问题？ 我们不希望这个目录中的任何东西被索引。
EDITED
即使我除了第一个条款之外，
User-Agent: * Disallow: /files/
Google仍然可以在/ files /目录中看到PDF，我在这里做错了什么？
在Bing的网站pipe理员工具中，它显示为阻止，但Google仍显示成功。
编辑：重新阅读标准。 机器人将使用第一个匹配的名称标记，或退回到* 。 对于你想拒绝访问/files/每个机器人，你需要添加一个匹配的disallow:
User-agent: * Disallow: /files/ User-agent: Googlebot Disallow: /files/