Googlebot出现问题

已知GoogleBot尝试过去一段时间存在的URL。 例如，我最近做了一个彻底的检修我的网站。 过去索引的旧url仍然在数月后被Googlebot击中（404）。 我知道一个事实，我的网站并没有以任何方式在内部使用这些URL。 有些是由外部网站链接; 有些甚至没有连接到外部。

如果您尚未使用Google网站pipe理员工具，则可能需要使用Google网站pipe理员工具。 您可以使用这些工具来查看索引的内容以及404的内容。您还可以查看哪些页面与哪些外部位置链接。

谷歌声称是抓取互联网，并辨认相关内容，为search者提供价值。 在这样做的过程中，Google严重依赖来自其他网站的入站链接，作为对您网站的“信任投票”。 如果在其他网站上有关于networking的链接，Google会按照链接search内容进行索引。

我怀疑你的域名的以前的所有者（在你注册之前）有其他地方的内部链接到创作的内容。 现在您已经监pipe了域名，并且内容不再存在，Google会收到404错误。

在一个完美的世界中，Google会记得收到404错误，并且不会再次抓取这些链接。 不幸的是，GoogleBot是复杂的，不断变化的，所以很难猜测会发生什么。

我有一个类似的经验与新注册的域名 – 你可以放心地忽略这种行为。 它不会对您的排名产生可持续的影响。

怎么了？ Google正在访问您的网站。 完全不用担心。

如果您担心某事，请阅读给定的url： http ： //www.google.com/bot.html

如果您不希望Google访问您的网站，则可以阻止IP范围。 在这种情况下， 没有页面将被索引。

从单个URL无法判断这是否实用，但我首先要看的是将一部分URL添加到robots.txt文件。