Google Mini似乎错过了一些文档

我有一个网站与dynamic网页(例如record.aspx?ID = 657)。 这些被添加到偶尔。 每个页面都可以通过以下各种标签find,并有一个页面(ip限制,只有谷歌迷你可以看到它)列出所有的logging作为链接。

迷你设置为每天凌晨3点全面爬行。

数据库中最近增加的一些内容似乎没有出现,现在已经有几个星期了,甚至出现在Google的主要索引中。

任何想法为什么新logging不被索引?

尝试这个:

  • 检查您是否未超出设备的许可证和容量(状态和报告>抓取状态页面)。
  • 检查“find匹配抓取模式的url”和“正在使用的文档总数”的值。 它们之间的区别必须很小。
  • 检查域的抓取信息(“状态”和“报告”>“抓取诊断”),查看是否正在索引所有页面。
  • 如果您有权访问Web服务器的日志文件,请强制重新抓取某些未被编入索引的页面,并查看Web服务器的响应情况(可能是404?)。
  • 经过上面所有的testing,如果所有的页面都被编入索引但没有显示在结果中,我build议升级Google Mini的软件。 它发生在我前段时间,升级解决了这个问题。

所以,只是一个想法,但你有超过设备的能力?

从您的Google Minipipe理主页:

  1. 点击左侧栏中的“状态和报告”。
  2. 从下拉菜单中,点击“抓取诊断”。

从这里你将有4列,主机名,爬行url,检索错误和排除url。 这些列中的值是有关每列的附加信息的超链接。 如果这些特定文档有错误,您可以在这里find答案。

Mini的日志里有什么关于这个的吗? 如果我记得,有一个地方,你可以检查,如果迷你可以访问文件或不。 也请确保相关的文件types不会被忽略。