我们是一个价格比较门户，定期抓取某些网站。 我正在寻找一种方法来节省带宽，避免一次又一次地下载相同的页面，如果内容没有改变，而只做一个头部请求。 由于我们关心的网站本质上是dynamic的，所以Last-Modified字段或Content-Length不是某个网页是否已经改变的可靠指示器。 响应Etags字段或更好的响应MD5可能会正常工作。 然而，大多数服务器不会为每个请求生成内容MD5，可能是因为这意味着每个响应的CPU开销会减less，而不是节省一些带宽，从而使其速度更快。
我的问题，是否有一个普遍接受的方法来创build一个HTTP请求，将提示服务器生成Etags或MD5标头的响应？
这是没有办法的。 除非网站为此提供特殊的API，否则不能要求服务器返回任何额外的内容。
http头部要求？
它的返回与GET相同，但没有主体。