我想创build一个可公开访问的Google Apps网站 (即,用户无需通过身份validation即可访问内容),同时使用Robots.txt维护策略抓取工具和漫游器排除function 。 有谁知道这是怎么做到的吗?
robots.txt不会阻止交互式浏览器使用该网站。 它只用于爬虫,饲料阅读器,recursion下载工具等机器人(尽pipe后者会让用户覆盖它)。