我刚在一个新网站上更新了我的robots.txt文件; Google网站pipe理员工具报告在我上次更新前10分钟阅读我的robots.txt。
有什么方法可以鼓励Google尽快重新阅读我的robots.txt文件吗?
更新:在网站configuration下 抓取工具访问| testingrobots.txt:
主页访问显示:
Googlebot被阻止http://my.example.com/
仅供参考:Google上次阅读的robots.txt文件如下所示:
User-agent: * Allow: /<a page> Allow: /<a folder> Disallow: /
我是不是在自己的脚下开枪,或者最终会读到:http:///robots.txt(就像它上次读的那样)?
任何想法,我需要做什么?
如果有人遇到这个问题,有一种方法可以强制google-bot重新下载robots.txt文件。
转到健康 – > Google抓取[1]并获取/robots.txt
这将重新下载文件,谷歌也将重新parsing文件。
[1]在以前的谷歌用户界面是“诊断 – >抓取GoogleBot”。
我知道这是非常古老的,但是…如果您上传了错误的robots.txt(禁止所有页面),您可以尝试以下操作:
因为谷歌试图读取XML网站地图,它会再次检查robots.txt,迫使谷歌重新读取您的robots.txt。
好。 这就是我所做的,在几个小时之内,Google会重新读取我的robots.txt文件。
我们每运营一个网站都有两个网站。 我们称之为规范网站(www.mysite.com)和裸露网站(mysite.com)。
我们有我们的网站设置,以便mysite.com总是返回301redirect到www.mysite.com。
一旦我在Google网站pipe理员工具中设置了这两个网站,就告诉它www.mysite.com是规范网站,它在阅读规范网站上的robots.txt文件后不久。
我不知道为什么,但是那是发生了什么事。
缩短谷歌扫描间隔几天。
此外,我已经看到有buttom来validation您的robots.txt,这可能会迫使它谷歌,但我不知道。