我注意到我的网站没有被web.archive.org存档。 当我看着http://web.archive.org/web/ * / http://www.cnn.com ，清楚地看到它在2008年7月份停止了工作.web.archive.org有一个6个月的时间，延迟政策。 这意味着爬网运行6个月后，最终用户应该可以看到它。 所以它应该从2009年底开始爬行，而不是从2008年中期开始。
我能做些什么来让它再次为我工作，是否有官方声明？
上次他们的常见问题更新时，可见性延迟是“ 6-14个月 ”，所以延迟可能延长，并且您看到正常的行为。
检查您的网站是否没有robots.txt文件，告诉抓取工具不要将其编入索引。
该常见问题解答还列出了其他两种获取网站索引的方法：在浏览器中安装Alexa工具栏并访问您的网站; 或者访问http://www.dmoz.org/并使用“Suggest URL”表单。