我如何鼓励Google阅读新的robots.txt文件?

我刚在一个新网站上更新了我的robots.txt文件; Google网站pipe理员工具报告在我上次更新前10分钟阅读我的robots.txt。

有什么方法可以鼓励Google尽快重新阅读我的robots.txt文件吗?

更新:在网站configuration下 抓取工具访问| testingrobots.txt:

主页访问显示:

Googlebot被阻止http://my.example.com/

仅供参考:Google上次阅读的robots.txt文件如下所示:

User-agent: * Allow: /<a page> Allow: /<a folder> Disallow: / 

我是不是在自己的脚下开枪,或者最终会读到:http:///robots.txt(就像它上次读的那样)?

任何想法,我需要做什么?

如果有人遇到这个问题,有一种方法可以强制google-bot重新下载robots.txt文件。

转到健康 – > Google抓取[1]并获取/robots.txt

这将重新下载文件,谷歌也将重新parsing文件。

[1]在以前的谷歌用户界面是“诊断 – >抓取GoogleBot”。

我知道这是非常古老的,但是…如果您上传了错误的robots.txt(禁止所有页面),您可以尝试以下操作:

  • 首先纠正你的robots.txt,以允许正确的页面
  • 上传一个sitemap.xml与您的网页

因为谷歌试图读取XML网站地图,它会再次检查robots.txt,迫使谷歌重新读取您的robots.txt。

好。 这就是我所做的,在几个小时之内,Google会重新读取我的robots.txt文件。

我们每运营一个网站都有两个网站。 我们称之为规范网站(www.mysite.com)和裸露网站(mysite.com)。

我们有我们的网站设置,以便mysite.com总是返回301redirect到www.mysite.com。

一旦我在Google网站pipe理员工具中设置了这两个网站,就告诉它www.mysite.com是规范网站,它在阅读规范网站上的robots.txt文件后不久。

我不知道为什么,但是那是发生了什么事。

缩短谷歌扫描间隔几天。

此外,我已经看到有buttom来validation您的robots.txt,这可能会迫使它谷歌,但我不知道。