我有一个网站与dynamic网页(例如record.aspx?ID = 657)。 这些被添加到偶尔。 每个页面都可以通过以下各种标签find,并有一个页面(ip限制,只有谷歌迷你可以看到它)列出所有的logging作为链接。
迷你设置为每天凌晨3点全面爬行。
数据库中最近增加的一些内容似乎没有出现,现在已经有几个星期了,甚至出现在Google的主要索引中。
任何想法为什么新logging不被索引?
尝试这个:
所以,只是一个想法,但你有超过设备的能力?
从您的Google Minipipe理主页:
从这里你将有4列,主机名,爬行url,检索错误和排除url。 这些列中的值是有关每列的附加信息的超链接。 如果这些特定文档有错误,您可以在这里find答案。
Mini的日志里有什么关于这个的吗? 如果我记得,有一个地方,你可以检查,如果迷你可以访问文件或不。 也请确保相关的文件types不会被忽略。