我想创build一个可公开访问的Google Apps网站 （即，用户无需通过身份validation即可访问内容），同时使用Robots.txt维护策略抓取工具和漫游器排除function 。 有谁知道这是怎么做到的吗？
robots.txt不会阻止交互式浏览器使用该网站。 它只用于爬虫，饲料阅读器，recursion下载工具等机器人（尽pipe后者会让用户覆盖它）。