可以从浏览器访问Web应用程序,但爬虫应用程序会抛出404错误?

我正在使用名为Xenu Link Sleuth的应用程序尝试在我们托pipe的网站上find损坏的链接。 当我通过浏览器访问网站时,它popup右键打开。

当我尝试通过Xenu运行它立即引发404未find错误。 我检查了Robots.txt文件,认为Xenu可能是以此为基础,但我确定这不是原因。

有谁知道任何可能会遇到这种情况? 有没有安全设置的地方,我不知道那会抛出一个404爬行器?

任何帮助表示赞赏,我很难过。

另外,这是一个内联网站点。 不知道这是否有所作为。

我会检查一些事情…首先确保url没有打破它。 本周早些时候有各种各样的文章关于hashbangs #! 打破事情。 此外,我会看看你的请求看起来像在日志与这个软件的请求在日志中看起来像什么。

找不到网页时404错误。 请确保您设置了该网站的默认文档。