我刚在一个新网站上更新了我的robots.txt文件; Google网站pipe理员工具报告在我上次更新前10分钟阅读我的robots.txt。
有什么方法可以鼓励Google尽快重新阅读我的robots.txt文件吗？
更新：在网站configuration下 抓取工具访问| testingrobots.txt：
主页访问显示：
Googlebot被阻止http://my.example.com/
仅供参考：Google上次阅读的robots.txt文件如下所示：
User-agent: * Allow: /<a page> Allow: /<a folder> Disallow: / 我是不是在自己的脚下开枪，或者最终会读到：http：///robots.txt（就像它上次读的那样）？
任何想法，我需要做什么？
如果有人遇到这个问题，有一种方法可以强制google-bot重新下载robots.txt文件。
转到健康 – > Google抓取[1]并获取/robots.txt
这将重新下载文件，谷歌也将重新parsing文件。
[1]在以前的谷歌用户界面是“诊断 – >抓取GoogleBot”。
我知道这是非常古老的，但是…如果您上传了错误的robots.txt（禁止所有页面），您可以尝试以下操作：
因为谷歌试图读取XML网站地图，它会再次检查robots.txt，迫使谷歌重新读取您的robots.txt。
好。 这就是我所做的，在几个小时之内，Google会重新读取我的robots.txt文件。
我们每运营一个网站都有两个网站。 我们称之为规范网站（www.mysite.com）和裸露网站（mysite.com）。
我们有我们的网站设置，以便mysite.com总是返回301redirect到www.mysite.com。
一旦我在Google网站pipe理员工具中设置了这两个网站，就告诉它www.mysite.com是规范网站，它在阅读规范网站上的robots.txt文件后不久。
我不知道为什么，但是那是发生了什么事。
缩短谷歌扫描间隔几天。
此外，我已经看到有buttom来validation您的robots.txt，这可能会迫使它谷歌，但我不知道。