我收到用户对大型仓库设备两个部分之间networking应用程序性能不佳的抱怨。 该软件是在Linux服务器上运行的基于curses的terminal应用程序。 客户端是运行telnet或SSH客户端的PC。 麻烦发生在一天前,没有最近(已知)的环境变化。
核心交换机是MDF中的Cisco Catalyst 4507R-E ,与IDF中的一个4层Cisco Catalyst 2960交换机相连,它们通过多模光纤相连。 服务器在MDF中。 受影响的客户是IDF。
从Linux应用程序服务器ping到跨越build筑物的2960堆栈pipe理地址显示出高度的变化和大量的延迟:
--- shipping-2960.mdmarra.local ping statistics --- 864 packets transmitted, 864 received, 0% packet loss, time 863312ms rtt min/avg/max/mdev = 0.521/5.317/127.037/8.698 ms
但是,从应用程序服务器ping到客户端计算机则更加一致:
--- charles-pc.mdmarra.local ping statistics --- 76 packets transmitted, 76 received, 0% packet loss, time 75001ms rtt min/avg/max/mdev = 0.328/0.481/1.355/0.210 ms
没有相关的Linux接口或switchport显示错误( 请参阅问题的底部 )。
我怎样才能解决这个问题?
编辑:
后来我发现,由于这里详细描述的错误,Cisco 2960 CPU利用率非常高。
从2960堆栈…
shipping-2960#sh int GigabitEthernet1/0/52 GigabitEthernet1/0/52 is up, line protocol is up (connected) Hardware is Gigabit Ethernet, address is b414.894a.09b4 (bia b414.894a.09b4) Description: TO_MDF_4507 MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec, reliability 255/255, txload 13/255, rxload 1/255 Encapsulation ARPA, loopback not set Keepalive not set Full-duplex, 1000Mb/s, link type is auto, media type is 1000BaseSX SFP input flow-control is off, output flow-control is unsupported ARP type: ARPA, ARP Timeout 04:00:00 Last input 00:00:00, output 00:00:01, output hang never Last clearing of "show interface" counters never Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 441 Queueing strategy: fifo Output queue: 0/40 (size/max) 5 minute input rate 3053000 bits/sec, 613 packets/sec 5 minute output rate 51117000 bits/sec, 4815 packets/sec 981767797 packets input, 615324451566 bytes, 0 no buffer Received 295141786 broadcasts (286005510 multicasts) 0 runts, 0 giants, 0 throttles 0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored 0 watchdog, 286005510 multicast, 0 pause input 0 input packets with dribble condition detected 6372280523 packets output, 8375642643516 bytes, 0 underruns 0 output errors, 0 collisions, 0 interface resets 0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier, 0 PAUSE output 0 output buffer failures, 0 output buffers swapped out
附加输出:
Cisco 4507R-E CPU利用率 – sorting。
Cisco 2960 CPU利用率 – sorting。
tcam的利用率为2960.在4507上不可用。
shipping-2960# show platform tcam utilization CAM Utilization for ASIC# 0 Max Used Masks/Values Masks/values Unicast mac addresses: 8412/8412 335/335 IPv4 IGMP groups + multicast routes: 384/384 1/1 IPv4 unicast directly-connected routes: 320/320 28/28 IPv4 unicast indirectly-connected routes: 0/0 28/28 IPv6 Multicast groups: 320/320 11/11 IPv6 unicast directly-connected routes: 256/256 1/1 IPv6 unicast indirectly-connected routes: 0/0 1/1 IPv4 policy based routing aces: 32/32 12/12 IPv4 qos aces: 384/384 42/42 IPv4 security aces: 384/384 33/33 IPv6 policy based routing aces: 16/16 8/8 IPv6 qos aces: 60/60 31/31 IPv6 security aces: 128/128 9/9
Cisco 2960 CPU利用率历史logging…
shipping-2960#show processes cpu history 3333333444443333344444444443333333333444443333344444444443 9977777111119999966666222229999977777555559999911111000008 100 90 80 70 60 50 ***** ***** 40 ********************************************************** 30 ********************************************************** 20 ********************************************************** 10 ********************************************************** 0....5....1....1....2....2....3....3....4....4....5....5.... 0 5 0 5 0 5 0 5 0 5 CPU% per second (last 60 seconds) 4488887787444454444787888444444454677774444444447888544444 6401207808656506776708000447546664789977697589953201636647 100 90 80 *###*##* *#*##* *#** ### 70 #######* *##### *###* *### 60 #######* *##### * *#### *###* 50 * ########*********###### ** *** *####*********####* ** * 40 ########################################################## 30 ########################################################## 20 ########################################################## 10 ########################################################## 0....5....1....1....2....2....3....3....4....4....5....5.... 0 5 0 5 0 5 0 5 0 5 CPU% per minute (last 60 minutes) * = maximum CPU% # = average CPU% 8889888888888888988888889888888888888888888888888888888888888888898889 2322334378633453364454472653323431254225563228261399243233354222402310 100 90 * *** * ** * **** * *** * * ** * * * 80 *#############################*********************************#****** 70 *##################################################################### 60 *##################################################################### 50 ###################################################################### 40 ###################################################################### 30 ###################################################################### 20 ###################################################################### 10 ###################################################################### 0....5....1....1....2....2....3....3....4....4....5....5....6....6....7. 0 5 0 5 0 5 0 5 0 5 0 5 0 CPU% per hour (last 72 hours) * = maximum CPU% # = average CPU%
思科交换机将ICMP放在优先级列表的最底部。 如果我们ping一个繁忙的3750-X,我们会得到相同的结果。
您需要查看交换机上的系统利用率,因为我怀疑他们忙于处理数据包的软件。 你是否在这些上运行任何types的三层服务?
IOS 12.2.53中有一个相当严重的错误:
CSCth24278(Catalyst 2960-S交换机)
当交换机不被远程login或控制台会话访问时,交换机的CPU利用率仍然很高(50%到60%)。 当您远程login或控制台进入交换机时,CPU使用率下降。
没有解决方法。
升级到12.2.58-SE1或更高版本以解决这种情况。