在networking负载下的下行性能

我正在尝试在负载下提高服务器的性能。我在1Gbit的线路上，闲置时没有容量发送或接收的问题。

这些服务器获取，处理，然后将数据返回给用户。 rx：tx几乎是1：1。我注意到在为用户提供stream量的同时，我的下游存在问题，并且能够使用iperf3 / wget重现问题。我已经看到了Web服务器上的问题，以及位于它们前面的负载平衡器（haproxy）。

如果我运行iperf3 -P 4 -R（4个并行数据stream接收数据）或wget单独运行，它将在1Gbit。如果我同时运行它们，则总服务器使用率将下降到500Mbit以下，并在所有地方反弹。停止一个导致另一个回到1Gbit。

在负载下传输工作正常@ 1Gbit，以及在数据中心内下载。

这些机器运行双Xeon L5630，搭配Broadcom和Intel NIC。我已经尝试了各种调整来提高性能似乎没有任何帮助。

我被告知这个问题是处理中断足够快。在研究过程中，我确定没有一个适合性能优化的解决scheme。如果我能自己想出来，我会很高兴，但是也乐意雇用一个人。

有没有人有从哪里开始的build议？

这很可能是中断吗？我加载了irqbalance，然后把它closures，并手动分配到不同的核心队列。

尝试调整环缓冲区和sysctl参数和无数的事情。不知道从哪里去。

将不胜感激任何帮助。

谢谢！

这里是当前sysctl调整ethtool，系统信息的一些输出：fs.file-max = 4953281 kernel.panic = 10 kernel.pid_max = 4194303 net.core.netdev_max_backlog = 65535 net.core.somaxconn = 65535 net.ipv4.ip_local_port_range = 1024 65535 net.ipv4.tcp_congestion_control = htcp net.ipv4.tcp_fin_timeout = 15 net.ipv4.tcp_max_syn_backlog = 65535 net.ipv4.tcp_max_tw_buckets = 1440000 net.ipv4.tcp_rfc1337 = 1 net.ipv4.tcp_rmem = 4096 87380 33554432 net.ipv4 .tcp_slow_start_after_idle = 0 net.ipv4.tcp_synack_retries = 3 net.ipv4.tcp_syn_retries = 3 net.ipv4.tcp_tw_recycle = 0 net.ipv4.tcp_tw_reuse = 0 net.ipv4.tcp_wmem = 4096 65536 16777216 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.lo.disable_ipv6 = 0 net.netfilter.nf_conntrack_tcp_timeout_established = 60 net.nf_conntrack_max = 800000 vm.overcommit_memory = 1

ethtool -i eth0驱动程序：igb版本：5.0.5-k固件版本：1.7.2 bus-info：0000：02：00.0 support-statistics：yes支持testing：yes支持-eeprom-access：yes支持注册-dump：yes supports-priv-flags：no

ethtool -S eth0 | grep -v“：0”

NIC统计：rx_packets：2489111423个tx_packets：2608653369个rx_bytes：2862551932229个tx_bytes：1845742794294 rx_broadcast：187617 tx_broadcast：1个rx_missed_errors：102 tx_tcp_seg_good：2977380 rx_long_byte_count：2862551932229个rx_fifo_errors：488个tx_queue_0_packets：324825232个tx_queue_0_bytes：231519953294 tx_queue_0_restart：1093个tx_queue_1_packets：327114999个tx_queue_1_bytes：229028327215 tx_queue_1_restart： 1085个tx_queue_2_packets：329640953个tx_queue_2_bytes：232597728986 tx_queue_2_restart：538个tx_queue_3_packets：325861970个tx_queue_3_bytes：224621464319 tx_queue_3_restart：1132个tx_queue_4_packets：323541155个tx_queue_4_bytes：228741007431 tx_queue_4_restart：829个tx_queue_5_packets：330539393个tx_queue_5_bytes：235725634025 tx_queue_5_restart：601个tx_queue_6_packets：320796966个tx_queue_6_bytes：222150341311 tx_queue_6_restart：3705个tx_queue_7_packets：326332702个tx_queue_7_bytes ：230422874757 tx_queue_7_restart：953 rx_queue_0_packets：317746938 rx_queue_0_bytes：358943545445 rx_queu e_0_csum_err：80个rx_queue_1_packets：310501723个rx_queue_1_bytes：354800450890个rx_queue_1_drops：386 rx_queue_1_csum_err：92个rx_queue_2_packets：304246179个rx_queue_2_bytes：346027873804 rx_queue_2_csum_err：76个rx_queue_3_packets：307838541个rx_queue_3_bytes：353811008950 rx_queue_3_csum_err：149个rx_queue_4_packets：310871839个rx_queue_4_bytes：359145884376 rx_queue_4_csum_err：69个rx_queue_5_packets：317043674个rx_queue_5_bytes：364702136702 rx_queue_5_csum_err： 96 rx_queue_6_packets：312282264 rx_queue_6_bytes：358149543411 rx_queue_6_csum_err：91 rx_queue_7_packets：308579883 rx_queue_7_bytes：357015009991 rx_queue_7_csum_err：115

Dual：型号名称：Intel（R）Xeon（R）CPU L5630 @ 2.13GHz（16个内核，总计超过2个物理处理器）48GB内存

（irqbalance in charge）/ proc / interrupts：64：2 0 0 0 0 0 0 0 0 0 0 2 2 0 0 0 PCI-MSI-edge eth0 65：5123 13851 0 0 6115 0 221059968 0 0 0 0 0 0 0 0 0 PCI-MSI-边缘eth0-TxRx-0 66：11343 0 0 0 0 0 0 0 0 0 0 219834257 5371 0 0 0 PCI-MSI-边缘eth0-TxRx-1 67：11054 0 0 0 217177269 0 0 0 0 0 15812 0 0 0 0 0 PCI-MSI边缘eth0-TxRx-2 68：18435 0 0 0 0 0 0 220400185 0 0 0 0 6581 17136 0 0 PCI-MSI边缘eth0-TxRx-3 69：11528 0 0 0 4829 0 0 0 0 0 0 0 11794 215368998 0 0 PCI-MSI-边缘eth0-TxRx-4 70：11594 0 0 0 0 220027516 0 0 0 0 0 0 4306 0 0 17515 PCI-MSI-边缘eth0-TxRx -5 71：18647 214603111 0 0 4567 0 0 0 0 0 0 0 0 0 11380 0 PCI-MSI-边缘eth0-TxRx-6 72：10266 0 0 216763545 0 0 0 0 0 13147 0 0 3458 0 0 0 PCI- MSI边缘eth0-TxRx-7

cat / proc / net / softnet_stat

22d4ab38 00000000 0000002b 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000017 00000000 00000000 00000000 0000 000017 00000000 00000000 00000000 00000000 00000000 00000000 0833ce65 00000000 22f9f396 00000000 00000010 00000000 00000000 00000000 00000000 00000000 00000000 000099 0000 00000000 2391f6b5 00000000 0000000d 00000000 00000000 00000000 00000000 00000000 00000000 0845c0a9 00000000 01418f3b 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 0000000000000000000000000000000000000000 00000000 00000000 00000004 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 0000a 000026 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 0000e 000000 00000000 00000000 000000 00000000 00000000 00000000 00000000 00000000 00000000 0013582d 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 0014919d 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 0020ba05 0 0000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 000065 0000d 00000000 00000007 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00165ba1 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 016872b1 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 0013dc0b 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 0014d61d 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000