我在User-agent：*下的robots.txt中封锁了一个页面，并尝试从网站pipe理员工具中的Googlecaching中手动删除该url。 Google说我的robots.txt文件没有被封锁，所以我在User-agent：GoogleBot下面专门封锁了它，试着再次删除它，这一次运行。 这是否意味着Google不尊重用户代理：*或什么？
GoogleBot应正确遵循User-agent: *规则，但在GoogleBot再次抓取您的网站之前，GoogleBot不会更新caching，这需要一段时间。 谷歌并没有发布抓取之间的确切最短时间，但我猜测这是大约15至30分钟。
传入链接也将使谷歌索引的url。 它不会有实际内容的索引
如果网站站长工具表示没有被robots.txt阻止，我会说你的robots.txt文件中必须有错误。 谷歌肯定会尊重用户代理，所以别的东西一定是错的。 您可以通过Google网站pipe理员工具下的帮助页面详细了解robots.txt。
根据我的经验，删除索引需要24-48小时，尽pipe我已经看到它在短短的5个小时内发生了。