Ubuntu 16.04:使用wget / curl和使用请求(GET)的python极其缓慢的DNSparsing,

我在Ubuntu 16.04上完全更新。 注意到一些真的很慢的DNS解决scheme,像curl / dns和python。 我做了一些search,但没有解决它。 我试图build立一个需要快速响应时间的应用程序,但是由于这个问题,我的应用程序性能正在下降。

我已经通过closuresipv6来解决这个问题了(或者至less我以为我是这么做的),这使得我的apt-get方法更快,而且似乎也修复了所有其他问题 – 但是突然间,它又回到了永远解决。 不知道交易是什么,或者如果我更新了一些包,它重置它。 网站上的wget / curl需要永远解决,然后突然它,然后砰的一声。 我在一个100M / 100M的连接。 我应该提到,如果我强迫–inet4 – 只有wget,它是瞬时的,让我觉得这是一个ipv6解决的事情了,但我已经证实,ipv6closures:

http://www.neuraldump.com/2016/11/how-to-disable-ipv6-in-ubuntu-16-04-xenial-xerus/ 

这是第一个转储。

 00:14:19.512317 IP 10.10.10.10.57771 > google-public-dns-a.google.com.domain: 27177+ A? www.huffingtonpost.com. (40) 00:14:19.512323 IP 10.10.10.10.57771 > google-public-dns-a.google.com.domain: 4945+ AAAA? www.huffingtonpost.com. (40) 00:14:19.516199 IP google-public-dns-a.google.com.domain > 10.10.10.10.57771: 4945 3/0/0 CNAME www.huffingtonpost.com.huffpost.akadns.net., CNAME cs593.adn.mucdn.net., AAAA 2606:2800:221:18cd:1493:1b94:ea5:557 (154) 00:14:19.622120 IP resolver1-fs.opendns.com.domain > 10.10.10.10.57771: 27177 3/0/0 CNAME www.huffingtonpost.com.huffpost.akadns.net., CNAME cs593.adn.mucdn.net., A 152.195.54.95 (142) 00:14:24.517261 IP 10.10.10.10.57771 > google-public-dns-a.google.com.domain: 27177+ A? www.huffingtonpost.com. (40) 00:14:29.522261 IP 10.10.10.10.57771 > google-public-dns-a.google.com.domain: 27177+ A? www.huffingtonpost.com. (40) 00:14:34.527351 IP 10.10.10.10.50963 > google-public-dns-a.google.com.domain: 44146+ A? www.huffingtonpost.com. (40) 00:14:34.529688 IP google-public-dns-a.google.com.domain > 10.10.10.10.50963: 44146 3/0/0 CNAME www.huffingtonpost.com.huffpost.akadns.net., CNAME cs593.adn.mucdn.net., A 152.195.54.95 (142) 00:14:34.529730 IP 10.10.10.10.50963 > google-public-dns-a.google.com.domain: 8868+ AAAA? www.huffingtonpost.com. (40) 00:14:39.531792 IP 10.10.10.10.47933 > google-public-dns-a.google.com.domain: 44146+ A? www.huffingtonpost.com. (40) 00:14:39.629774 IP google-public-dns-a.google.com.domain > 10.10.10.10.47933: 44146 3/0/0 CNAME www.huffingtonpost.com.huffpost.akadns.net., CNAME cs593.adn.mucdn.net., A 152.195.54.95 (142) 00:14:39.629841 IP 10.10.10.10.47451 > google-public-dns-a.google.com.domain: 8868+ AAAA? www.huffingtonpost.com. (40) 00:14:39.696671 IP google-public-dns-a.google.com.domain > 10.10.10.10.47451: 8868 3/0/0 CNAME www.huffingtonpost.com.huffpost.akadns.net., CNAME cs593.adn.mucdn.net., AAAA 2606:2800:221:18cd:1493:1b94:ea5:557 (154) 

这是第二个tcpdump。 如果我立刻再做一次(不pipe它是不同的域名,我再次做huffingtonpost,因为我使用的tcpdumpfilter是如何设置的),结果是快速的:

 00:15:09.575741 IP 10.10.10.10.47420 > google-public-dns-a.google.com.domain: 11015+ A? www.huffingtonpost.com. (40) 00:15:09.642151 IP google-public-dns-a.google.com.domain > 10.10.10.10.47420: 11015 3/0/0 CNAME www.huffingtonpost.com.huffpost.akadns.net., CNAME cs593.adn.mucdn.net., A 152.195.54.95 (142) 00:15:09.642229 IP 10.10.10.10.57342 > google-public-dns-a.google.com.domain: 40060+ AAAA? www.huffingtonpost.com. (40) 00:15:09.708198 IP google-public-dns-a.google.com.domain > 10.10.10.10.57342: 40060 3/0/0 CNAME www.huffingtonpost.com.huffpost.akadns.net., CNAME cs593.adn.mucdn.net., AAAA 2606:2800:221:18cd:1493:1b94:ea5:557 (154) 

另一个奇怪的是,如果我在python(使用请求库,特别是requests.packages.urllib3.connectionpool)内执行此操作,它将在第一个HTTP GET上执行正常的20秒的第二个停顿,但是如果我执行第二个之后的一个或任何一个,它就像应该是快速的。

下面是两个“缓慢”版本的tcpdumnps(你可以看到20秒的延迟),然后再次与你所期望的。 在第一个返回的opendns是非常奇怪的。