你好,
我希望有人能帮助我解决这个问题:
当我抓取本地服务器上的源(MOSS 2007)时,我收到以下错误消息:
“尝试抓取这个项目时收到了一个无法识别的HTTP响应,请validation是否可以使用您的浏览器访问该项目。
那么,我用浏览器访问该URL没有问题。
我也检查了KB896861 ,所以这也不是问题。
那么我能做些什么来成功抓取?
谢谢!
在我们的一台testing服务器上有同样的问题,这是一台机器安装。 在我们的例子中,机器非常慢,爬虫试图一次抓取太多项目,导致超时。
因此,我们创build了一个爬网程序影响规则,该规则定义了爬网程序在每个请求的项目之后等待的一定时间。 这种规则可以在“爬虫影响规则”下的“search设置”(位于pipe理中心)中创build。
在那里你可以指定应该使用规则的Url。 此外,您有两个选项来影响爬虫:
所以也许这也可以解决你的问题。
因为在完成“备用访问映射”中的所有内部URL之后,该问题已得到解决
确保你了解并添加所有http和https有和没有域名(FQDN)