我正在recursion地检索dynamic网站内容。 不幸的是,文件可以从不同的dynamicurl获得。 例如,也许文件http://foo.bar/bla.php?q=xyz和http://foo.bar/bla.php?q=abc是完全相同的(他们有相同的校验和),但下载作为不同的文件。
http://foo.bar/bla.php?q=xyz
http://foo.bar/bla.php?q=abc
有没有可能使wget检测到这样的事情,只下载其中之一?
另外:是否有可能使-k将链接转换为下载的链接,即使页面是指第二个链接?
-k
谢谢!