nginx + Jetty – 数以千计的连接卡在LAST_ACK中

我有一个带有jails的FreeBSD机器 – 特别是两个运行nginx的机器，另一个运行一个Java程序，通过Jetty接受请求（embedded模式）

Jetty不断收到500个请求/秒，最近有一个问题，我将在Nginx和Jetty之间的LAST_ACK状态中持续有超过60,000个连接。

所有连接的分配（包括一些其他服务，特别是php-fpm）

root@host:/root # netstat -an > conns.txt root@host:/root # cat conns.txt | awk '{print $6}' | sort | uniq -c | sort -n 18 LISTEN 112 CLOSING 485 ESTABLISHED 650 FIN_WAIT_2 1425 FIN_WAIT_1 3301 TIME_WAIT 64215 LAST_ACK 

分发nginx – >docker连接

• （35）连接到localhost的未知的SSL协议错误：8443
• docker开发与Node.js和二进制node_modules
• 运行系统没有PrivateTmp，PrivateNetwork和PrivateDevices（在docker – 非特权模式）
• 使用Docker和Vagrant搭配Node和Express
• 无法在Docker中设置容器的内存限制

 root@host:/root # cat conns.txt | grep '10.10.1.57' | awk '{print $6}' | sort | uniq -c | sort -n 1 3 CLOSE_WAIT 3 LISTEN 18 FIN_WAIT_2 125 ESTABLISHED 64193 LAST_ACK 

我希望每个请求都完全closures连接。 客户请求相距约10分钟，因此连接必须closures。

一些连接，

 tcp4 0 0 10.10.1.50.46809 10.10.1.57.9050 LAST_ACK tcp4 0 0 10.10.1.50.46805 10.10.1.57.9050 LAST_ACK tcp4 0 0 10.10.1.50.46797 10.10.1.57.9050 LAST_ACK tcp4 0 0 10.10.1.50.46794 10.10.1.57.9050 LAST_ACK tcp4 0 0 10.10.1.50.46790 10.10.1.57.9050 LAST_ACK tcp4 0 0 10.10.1.50.46789 10.10.1.57.9050 LAST_ACK tcp4 0 0 10.10.1.50.46771 10.10.1.57.9050 LAST_ACK etc.. 

• 在Jetty的最后我已经把maxIdleTime设置为2000 – 在这之前所有的连接都在ESTABLISHED但是现在是LAST_ACK
• 在Jetty的结束我已经设置Connection: close （即response.setHeader(HttpHeaders.CONNECTION, HttpHeaderValues.CLOSE); ）
• docker从来没有报告过很多开放的连接 – 总是很less。
• PF / IPFW目前未被使用
• nginx – reset_timedout_connection打开

我无法弄清楚如何让nginx或jetty强行closures连接，这是否需要在Jetty中修复，以便在请求完成后完全closures套接字？

非常感谢

编辑：忘记我的nginxconfiguration代理设置 –

  proxy_pass http://10.10.1.57:9050; proxy_set_header HTTP_X_GEOIP $http_x_geoip; proxy_set_header GEOIP_COUNTRY_CODE $geoip_country_code; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header Host $http_host; proxy_set_header Connection ""; proxy_http_version 1.1; 

EDIT2：强制Jetty通过request.getConnection().getEndPoint().close()不执行任何操作来closures连接 – 显然连接被closures了（因为它在LAST_ACK ），但是为什么它不能通过呢？ 由于某种原因，Nginx是否保持连接对后端开放？

 24 LAST_ACK 36 CLOSING 117 FIN_WAIT_2 175 ESTABLISHED 351 FIN_WAIT_1 4725 TIME_WAIT 

 1 FIN_WAIT_2 3 LISTEN 14 ESTABLISHED 

 private void finishRequest(String message, Request baseRequest, HttpServletResponse response) throws IOException { ByteArrayISO8859Writer writer = new ByteArrayISO8859Writer(1500); writer.write(message); writer.flush(); // set the content length response.setContentLength(writer.size()); // write the response OutputStream outputStream = response.getOutputStream(); writer.writeTo(outputStream); // close the streams outputStream.close(); writer.close(); baseRequest.getConnection().getEndPoint().close(); } 

 connector.setSoLingerTime(0);