linux的OOM杀了为什么？

。 问候，同行pipe理员。 我希望能够发现困扰我公司一台机器的OOM杀戮事件。 我不能决定他们是不是合法的OOMs。

这是一个内核2.6.32-279.1.1.el6.x86_64的Centos 6.x。

公羊8GB，CPU Athlon2-X4。

最大的进程是mysql和vmware player 4，最多分别有2GB和4GB的ram不断分配，还有一些开销。 （Vmware是因为它更大的尺寸而被杀死的。）

• VMware Server和VMware Player之间的虚拟机镜像兼容性
• 最好的方式来“虚拟化”现有的系统？
• 便携式虚拟机build议？
• 在运行Windows Server 2012 R2之前，是否需要closuresHyper-V虚拟机客户机操作系统？
• 连接2个运行Windows 7的虚拟机

除了这两个守护进程之外，还有守护进程，但是它们非常小，而且负载很轻，所以我不知道剩下的1.5 / 1的RAM会消失在哪里，不包括巨大的交换。

另外， 只有当它在晚上运行备份cronjobs时才会发生这种情况。 （这些是带有标准工具的简单shell脚本，它们转储一些数据库并压缩一些web和邮箱目录。）

在这里，例如，它正在做一个mysqldump – 这是第一次发生这个特定的任务。 它曾经发生几乎每一次，还加上“页面分配失败”，当我运行一个大的目录树（〜100万个小文件）的rsyncs或拉链。 但是我把所有的东西都搬到了另外一台装有zfs的机器上：在这个操作之后，凶手让我一个人呆了一会儿。

我讨厌这个问题玩了好几个月，阅读和重新阅读互联网上的每一个线索，我仍然不能把这个信息与我的情况联系起来。 有交换，为什么不交换而不是杀戮？ 还有谁拿走了所有的公羊？ （在开始时，有一些合法的记忆stream氓，我得到了它们）。不能成为碎片，因为失败的请求是零。

我在实际杀手日志之前粘贴一些数据：

 vm.swappiness = 100
 vm.vfs_cache_pressure = 5000
 vm.min_free_kbytes = 262144

（这些我试图修复它，他们可能有点极端，但它运行顺利无论如何）

我徒劳地尝试了overcommit_memory = 2。 是不是应该禁用杀手？

这是系统正常的内存状态。 请注意，由于mmap-ed vmem，vmware的ram被视为caching。 顺便说一句，vmware设置为允许回收/交换虚拟内存。 它永远不会这样做。

           caching总共使用的空闲共享缓冲区
 Mem：7800792 7400032 400760 0 61100 4449196
 -  / + buffers / cache：2889736 4911056
交换：8388600 761588 7627012

 SwapCached：286648 kB
 PageTables：40200 kB
 CommitLimit：15409312 kB
 Committed_AS：8099460 kB
 AnonHugePages：192512 kB

节点0，区段DMA 4 1 1 3 1 1 0 0 1 1 3 
节点0，区段DMA32 378 1476 2541 1491 328 240 74 28 8 0 0 
节点0，区域正常1555 124 956 1825 659 175 54 31 15 0 0 

最后，OOM：

 1月2日21:37:38：vmware-vmx调用oom-killer：gfp_mask = 0xd0，order = 0，oom_adj = 0，oom_score_adj = 0 Jan 2 21:37:38：vmware-vmx cpuset = / mems_allowed = 0 Jan 2 21:37:38：Pid：19635，comm：vmware-vmx没有污染2.6.32-279.1.1.el6.x86_64＃1 Jan 2 21:37:38：Call Trace：Jan 2 21:37:38：[ ]？  cpuset_print_task_mems_allowed + 0x91 / 0xb0 Jan 2 21:37:38：[]？  dump_header + 0x90 / 0x1b0 Jan 2 21:37:38：[]？  __delayacct_freepages_end + 0x2e / 0x30 Jan 2 21:37:38：[]？  security_real_capable_noaudit + 0x3c / 0x70 Jan 2 21:37:38：[]？  oom_kill_process + 0x82 / 0x2a0 Jan 2 21:37:38：[]？  select_bad_process + 0xe1 / 0x120 Jan 2 21:37:38：[]？  out_of_memory + 0x220 / 0x3c0 Jan 2 21:37:38：[]？  __alloc_pages_nodemask + 0x89e / 0x940 Jan 2 21:37:38：[]？  alloc_pages_current + 0xaa / 0x110 Jan 2 21:37:38：[]？  __get_free_pages + 0xe / 0x50 Jan 2 21:37:38：[]？  __pollwait + 0xb4 / 0xf0 Jan 2 21:37:38：[]？  eventfd_poll + 0x7d / 0x80 Jan 2 21:37:38：[]？  do_sys_poll + 0x29b / 0x520 Jan 2 21:37:38：[]？  __pollwait + 0x0 / 0xf0 Jan 2 21:37:38：[]？  pollwake + 0x0 / 0x60 Jan 2 21:37:38：[]？  pollwake + 0x0 / 0x60 Jan 2 21:37:38：[]？  pollwake + 0x0 / 0x60 Jan 2 21:37:38：[]？  pollwake + 0x0 / 0x60 Jan 2 21:37:38：[]？  pollwake + 0x0 / 0x60 Jan 2 21:37:38：[]？  pollwake + 0x0 / 0x60 Jan 2 21:37:38：[]？  pollwake + 0x0 / 0x60 Jan 2 21:37:38：[]？  pollwake + 0x0 / 0x60 Jan 2 21:37:38：[]？  pollwake + 0x0 / 0x60 Jan 2 21:37:38：[]？  read_tsc + 0x9 / 0x20 Jan 2 21:37:38：[]？  ktime_get_ts + 0xa9 / 0xe0 Jan 2 21:37:38：[]？  poll_select_set_timeout + 0x8d / 0xa0 Jan 2 21:37:38：[]？  sys_ppoll + 0x4c / 0x180 Jan 2 21:37:38：[]？  system_call_fastpath + 0x16 / 0x1b Jan 2 21:37:38：Mem-Info：Jan 2 21:37:38：Node 0 DMA per-cpu：Jan 2 21:37:38：CPU 0：hi：0，btch：1 usd：0 Jan 2 21:37:38：CPU 1：hi：0，btch：1 usd：0 Jan 2 21:37:38：CPU 2：hi：0，btch：1 usd：0 Jan 2 21:37 ：38：CPU 3：hi：0，btch：1 usd：0 Jan 2 21:37:38：Node 0 DMA32 per-cpu：Jan 2 21:37:38：CPU 0：hi：186，btch：31 usd ：175 Jan 2 21:37:38 CPU 1：hi：186，btch：31 usd：40 Jan 2 21:37:38：CPU 2：hi：186，btch：31 usd：180 Jan 2 21:37： 38：CPU 3：hi：186，btch：31 usd：152 Jan 2 21:37:38：Node 0正常每CPU：1月2日21:37:38：CPU 0：hi：186，btch：31 usd： 170 1月2日21:37:38：CPU 1：嗨：186，btch：31 usd：67 1月2日21:37:38：CPU 2：嗨：186，btch：31 usd：108 Jan 2 21:37:38 ：CPU 3：hi：186，btch：31 usd：63 Jan 2 21:37:38：active_anon：1467089 inactive_anon：263165 isolated_anon：64 Jan 2 21:37:38：active_file：12404 inactive_file：65792 isolated_file：96 Jan 2 21:37:38：不可预知：2脏：66080回写：1不稳定：0 1月2日21:37:38：免费：73  888 slab_reclaimable：8971 slab_unreclaimable：10661 Jan 1 21:37:38：mapped：780904 shmem：1035969 pagetables：10566 bounce：0 Jan 2 21:37:38：Node 0 DMA free：15688kB min：500kB low：624kB high：748kB 0kB隔离（anon）：0kB隔离（文件）：0kB存在：15284kB mlocked：0kB脏：0kB写回：0kB映射：0kB shmem：0kB slab_reclaimable：0kB slab_unreclaimable：0kB inactive_anon：0kB active_file：0kB inactive_file：0kB unevictable： 0kB kernel_stack：0kB pagetables：0kB unstable：0kB bounce：0kB writeback_tmp：0kB pages_scanned：0 all_unreclaimable？  yes Jan 2 21:37:38 lowmem_reserve []：0 3254 7799 7799 Jan 2 21:37:38：Node 0 DMA32 free：127608kB min：109180kB low：136472kB high：163768kB active_anon：2209600kB inactive_anon：441980kB active_file：35784kB inactive_file ：207948kB unevicetable：8kB隔离（匿名）：0kB隔离（文件）：256kB目前：3333024kB mlocked：8kB脏：211888kB回写：0kB映射：955900kB shmem：1376604kB slab_reclaimable：20276kB slab_unreclaimable：6460kB kernel_stack：488kB pagetables：8856kB unstable：0kB反弹：0kB writeback_tmp：0kB pages_scanned：580800 all_unreclaimable？  no Jan 2 21:37:38 lowmem_reserve []：0 0 4545 4545 Jan 2 21:37:38：Node 0 Normal free：152256kB min：152456kB low：190568kB high：228684kB active_anon：3658756kB inactive_anon：610680kB active_file：13832kB inactive_file ：55220kB unevicetable：0kB隔离（匿名）：256kB隔离（文件）：128kB目前：4654080kB mlocked：0kB脏：52432kB回写：4kB映射：2167716kB shmem：2767272kB slab_reclaimable：15608kB slab_unreclaimable：36184kB kernel_stack：3016kB pagetables：33408kB unstable：0kB弹跳：0kB writeback_tmp：0kB pages_scanned：410848 all_unreclaimable？  1月2日21:37:38 lowmem_reserve []：0 0 0 0 Jan 2 21:37:38：节点0 DMA：4 * 4kB 1 * 8kB 1 * 16kB 3 * 32kB 1 * 64kB 1 * 128kB 0 * 256kB 0 * 512kB 1 * 1024kB 1 * 2048kB 3 * 4096kB = 15688kB Jan 2 21:37:38：节点0 DMA32：240 * 4kB 925 * 8kB 1553 * 16kB 748 * 32kB 253 * 64kB 152 * 128kB 56 * 256kB 28 * 512kB 6 * 1024kB 0 * 2048kB 0 * 4096kB = 127608kB Jan 2 21:37:38：节点0正常：1155 * 4kB 1362 * 8kB 2962 * 16kB 860 * 32kB 330 * 64kB 113 * 128kB 23 * 256kB 18 * 512kB 9 * 1024kB 1 * 2048kB 0 * 4096kB = 152380kB Jan 2 21:37:38：1162322共1页1 2下一页21:37:38：48040页在交换caching中Jan 2 21:37:38：交换caching统计信息：添加3148787，删除3100747 ，find1726176/2015458 Jan 2 21:37:38：Free swap = 7750696kB Jan 2 21:37:38：Total swap = 8388600kB Jan 2 21:37:38：2031600 RAM RAM Jan 1 21:37:38：81402页保留1月2日21:37:38：1987047页共享1月2日21:37:38：707527页非共享1月2日21:37:38：[pid] uid tgid total_vm rss cpu oom_adj oom_score_adj name Jan 2 21:37： 38：[457] 0 457 2673 90 1 -17 -1000 udevd Jan 2  21:37:38：1261 62271 293 0 0 0 rsyslogd Jan 2 21:37:38 1275 1171 91 0 0 0 mdadm Jan 2 21:37:38 81 1284 5382 159 1 0 0 dbus-daemon Jan 2 21:37:38：12 1295 6946 160 2 0 0 avahi-daemon Jan 2 21:37:38：12 1296 6914 27 1 0 0 avahi-daemon Jan 2 21:37:38：68 1344 6292 346 0 0 0 1月2日21:37:38 0 1345 4524 152 0 0 0 1月2日21:37:38 [1391] 0 1391 5053 87 2 0 0 hald-addon-inpu Jan 2 21:37:38：1406 6014 103 2 0 0 vmware-usbarbit Jan 2 21:37:38：1420 16028 119 1  - 17 -1000 sshd Jan 2 21:37:38：[1439] 38 1439 7539 146 0 0 0 ntpd Jan 2 21:37:38：1483 29309 135 2 0 0 crond Jan 2 21:37:38： 0 1494 5362 47 2 0 0 atd Jan 2 21:37:38 501 1511 25371 5751 1 0 0 Xvnc Jan 2 21:37:38 501 1521 26513 66 0 0 0 sh Jan 2 21:37:38 512 1532 21634 461 0 0 0 Xvnc Jan 2 21:37:38 501 1541 5006 82 1 0 0 dbus-launch Jan 2 21:37:38 [1542] 501 1542 5382 1  41 2 0 0 dbus-daemon Jan 2 21:37:38 501 1546 5629 283 0 0 0 xfconfd 1月2日21:37:38：1551年2月1日21:37:38：1551年2801 71 3 0 0 gpg-agent 1月2日21 ：37：38：501 1561 57668 351 1 0 0 xfce4-session Jan 2 21:37:38：501 1565 49604 290 2 0 0 xfsettingsd Jan 2 21:37:38：501 1567 55385 549 1 0 0 xfwm4 1月2日21:37:38 501 1569 59719 1148 2 0 0 xfce4-panel Jan 2 21:37:38：[1571] 501 1571 56642 311 1 0 0正月初二21： 37:38：501 1573 81823 695 3 0 0 xfdesktop Jan 2 21:37:38：501 1582 56799 339 1 0 0 xfce4-settings-Jan 2 21:37:38：1584 520550 188 1 0 0 console-kit-dae Jan 2 21:37:38：[1650] 501 1650 55456 487 3 0 0 panel-6-systray Jan 2 21:37:38：512 1654 26513 65 0 0 0 sh 1月2日21:37:38：[1669] 512 1669 5006 68 2 0 0 dbus-launch Jan 2 21:37:38：[1670] 512 1670 5383 135 0 0 0 dbus-daemon Jan 2 21:37： 38：[1674] 512 1674 5629 264 3 0 0 xfconfd Jan 2 21:37:38：1680 1680 28034 70 3 0 0 gpg-agent Jan 2 21:37:38  ：500 1683 27549 6909 2 0 0 Xvnc Jan 2 21:37:38 512 1694 57667 346 2 0 0 xfce4-session Jan 2 21:37:38 512 1699 55386 461 1 0 0 xfwm4 Jan 2 21:37:38 [1701] 512 1701 66152 1404 2 0 0 xfce4-panel Jan 2 21:37:38：[1703] 512 1703 56617 235 0 0 0正月1 2月21:37:38： 512 1705 85537 529 1 0 0 xfdesktop Jan 2 21:37:38 512 1707 49604 285 1 0 0 xfsettingsd Jan 2 21:37:38 512 1715 56799 312 0 0 0 xfce4-设置 -  Jan 2 21:37:38：[1717] 512 1717 55456 438 3 0 0面板4-系统1月2日21:37:38：[1721] 500 1721 26513 66 0 0 0 sh Jan 2 21:37： 38：500 1740 5006 68 1 0 0 dbus-launch Jan 2 21:37:38：500 1741 5383 167 2 0 0 dbus-daemon Jan 2 21:37:38：500 1745 5629 275 1 0 0 xfconfd 1月2日21:37:38：[1757] 500 1757 28070 139 3 0 0 gpg-agent Jan 2 21:37:38：[1758] 0 1758 1542 83 3 0 0 pptpd Jan 2 21:37 ：38：500 1774 57667 356 0 0 0 xfce4-session 1月2日21:37:38：17 00 1779 55674 785 2 0 0 xfwm4 Jan  2 21:37:38 1781 500781 65790 1363 1 0 0 xfce4-panel Jan 2 21:37:38：1781 5001783 82194 451 0 0 0正月1月21日21:37:38 [1785] 500 1785 85642 813 2 0 0 xfdesktop 1月2日21:37:38：1790 500 1790 49604 283 2 0 0 x 1月2日21:37:38 1800 18008663 313 3 0 0 xterm 1月2日21： 1月21日37:38：[1807] 500 1807 56798 353 3 0 0 xfce4-settings- Jan 2 21:37:38：[1808] 500 1808 55456 470 1 0 0 panel-6-systray Jan 2 21:37:38： 1811] 500 1811 27074 69 2 0 0 bash Jan 2 21:37:38：[1823] 0 1823 4704 145 0 0 0 smartd Jan 2 21:37:38：[1831] 0 1831 1014 48 2 0 0 mingetty Jan 2 21:37:38 [1833] 0 1833 1014 48 0 0 0 mingetty Jan 2 21:37:38 1835 1014 48 1 0 0 mingetty Jan 2 21:37:38 1837 1014 48 2 0 0 mingetty 1月2日21:37:38：[1839] 0 1839 1014 49 3 0 0 mingetty Jan 2 21:37:38：[1843] 0 1843 1014 48 0 0 0 mingetty Jan 2 21:37:38 ：0 2025 25340 59 2 0 0 vmnet-bridge Jan 2 21:37:38 0 2033 25333 15 1 0 0 vmnet-netifup Jan 2 21:37:38  ：0 2058 27069 101 0 0 0 vmnet-natd Jan 2 21:37:38 0 2060 25333 15 1 0 0 vmnet-netifup Jan 2 21:37:38 0 2097 30105 82 2 0 0 vmware-authdlau Jan 2 21:37:38：[2981] 500 2981 36335 76 0 0 0 su Jan 2 21:37:38：[2984] 0 2984 27074 233 1 0 0 bash Jan 2 21:37： 38：[6347] 500 6347 39207 406 2 0 0 xterm Jan 2 21:37:38：[6349] 500 6349 27074 70 0 0 0 bash Jan 2 21:37:38：[6407] 500 6407 36335 77 0 0 0 su Jan 2 21:37:38：[6410] 0 6410 27074 251 0 0 0 bash 1月2日21:37:38：[6481] 0 6481 57857 154 0 0 mysql mysql 1月2日21:37:38：[6911] 0 6911 19820 120 1 0 0主人Jan 2 21:37:38：69 6914 19889 122 0 0 0 qmgr Jan 2 21:37:38：69 6918 19839 141 0 0 0 tlsmgr Jan 2 21： 37:38 0 17572 103460 2142 3 0 0正月1 2月21:37:38 500 21227 38801 594 0 0 0 xterm 1月2日21:37:38 21229 27074 73 0 0 0 bash Jan 2 21:37:38：[29713] 500 29713 36870 214 3 0 0 lftp Jan 2 21:37:38：[32170] 500 32170 38815 184 0 0 0 xterm Jan 2 21：  37:38：[32172] 500 32172 27074 77 1 0 0 bash Jan 2 21:37:38：[32189] 500 32189 36335 86 1 0 0 su Jan 2 21:37:38 0 32197 27074 93 1 0 0 bash Jan 2 21:37:38：[16025] 0 16025 2070 89 3 0 0 pptpctrl Jan 2 21:37:38：[16026] 0 16026 5544 108 1 0 0 pppd Jan 2 21:37:38： 31174] 0 31174 27073 175 1 0 0 mysqld_safe Jan 2 21:37:38：[31909] 27 31909 1143356 587238 1 0 0 mysqld Jan 2 21:37:38：[32037] 0 32037 26546 169 0 0 0 mysqld_safe 1月2日21:37:38：[32437] 495 32437 136524 7673 1 0 0 mysqld Jan 2 21:37:38：[32449] 0 32449 26546 169 2 0 0 mysqld_safe Jan 2 21:37:38：[368] 493 368 211813 3831 0 0 0 mysqld Jan 2 21:37:38：[884] 500 884 27074 310 1 0 0 bash Jan 2 21:37:38：[1065] 501 1065 122130 2881 3 0 0 vmplayer Jan 2 21:37:38 ：500 2031 38570 281 0 0 0 xterm Jan 2 21:37:38：500 2034 27074 180 0 0 0 bash Jan 2 21:37:38：500 2051 36335 140 0 0 0 su Jan 2 21:37:38：2055 27074 181 2 0 0 bash Jan 2 21:37:38 [16591] 501 16591 77851 712 3  0 0 vmware-unity-he Jan 2 21:37:38：[16803] 0 16803 26883 237 1 0 0 watch Jan 2 21:37:38：[19635] 501 19635 1693624 793343 1 0 0 vmware-vmx Jan 2 21 ：37：38：0 2186 38139 158 0 0 0 proftpd Jan 2 21:37:38：500 5289 38992 979 3 0 0 xterm Jan 2 21:37:38 500 5291 27074 188 2 0 0 bash Jan 2 21:37:38：[5344] 500 5344 36335 148 1 0 0 su Jan 2 21:37:38：5361 27074 350 0 0 0 bash Jan 2 21:37:38： [18529] 500 18529 26514 227 0 0 0 mysql-workbench Jan 2 21:37:38：[18534] 500 18534 26514 226 1 0 0 catchsegv Jan 2 21:37:38：[18536] 500 18536 26514 77 2 0 0 catchsegv 1月2日21:37:38：[18537] 500 18537 227088 7571 2 0 0 mysql-workbench 1月2日21:37:38：[409] 0 409 131527 1556 1 0 0 geany Jan 2 21:37:38： 410] 0 410 2054 92 2 0 0 gnome-pty-helpe Jan 2 21:37:38：[411] 0 411 27074 238 1 0 0 bash Jan 2 21:37:38：[5750] 0 5750 2672 92 0  - 17 -1000 udevd Jan 2 21:37:38：[5753] 0 5753 2672 87 0 -17 -1000 udevd Jan 2 21:37:38：[5788] 0 5788 10640 594 3 0  0 openvpn Jan 2 21:37:38 [5792] 0 5792 10640 598 3 0 0 openvpn Jan 2 21:37:38：[5800] 99 5800 11135 587 3 0 0 openvpn Jan 2 21:37:38：[21552 ] 0 21552 110137 2111 1 0 0 httpd 1月2日21:37:38：[21555] 48 21555 139593 7684 3 0 0 httpd 1月2日21:37:38：[21558] 48 21558 140002 8513 3 0 0 httpd 1月2日21 ：37：38：[23283] 497 23283 9846 193 1 0 0 dkim-filter Jan 2 21:37:38：[23284] 497 23284 33979 524 1 0 0 dkim-filter Jan 2 21:37:38 [6819] 0 6819 2070 152 3 0 0 pptpctrl Jan 2 21:37:38：[6820] 0 6820 5544 237 1 0 0 pppd Jan 2 21:37:39：[17208] 48 17208 112903 4566 0 0 0 httpd Jan 2 21： 37:39：[17209] 48 17209 138359 5895 0 0 0 httpd Jan 2 21:37:39：[17210] 48 17210 138693 7341 3 0 0 httpd Jan 2 21:37:39：0 1255 24571 713 0 0 0 sshd Jan 2 21:37:39：[1278] 0 1278 13874 396 1 0 0 sftp-server Jan 2 21:37:39：[14064] 48 14064 138202 6622 3 0 0 httpd Jan 2 21:37:39 ：[14065] 48 14065 139625 7776 1 0 0 httpd 1月2日21时37分39秒：[16899] 48 16899 138543 7523 3 0 0 httpd 1月2日21：3  7:39：[32639] 89 32639 19924 722 0 0 0取件1月2日21:37:39：[4973] 48 4973 136179 4973 3 0 0 httpd 1月2日21时37分39秒：[4976] 48 4976 138478 7371 0 0 0 httpd 1月2日21时37分39秒：[4977] 48 4977 136173 4777 3 0 0 httpd 1月2日21时37分39秒：[5662] 0 5662 35030 336 0 0 0 crond 1月2日21时37分39秒： 5663] 0 5663 2297 282 2 0 0 sh Jan 2 21:37:39：[5664] 0 5664 2298 302 0 0 0 bash Jan 2 21:37:39：[5665] 0 5665 15910 437 0 0 0 mutt Jan 2 21:37:39 [5947] 0 5947 2298 337 1 0 0 bash 1月2日21:37:39：[6416] 48 6416 110170 2070 3 0 0 httpd 1月2日21时37分39秒：[6625] 48 6625 110170 1月2日21:37:39 [6642] 0 6642 32679 1632 2 0 0 mysqldump 1月2日21:37:39：内存不足：杀死进程19635（vmware-vmx）得分199或牺牲小孩Jan 2 21:37:39：杀死进程19635，UID 501，（vmware-vmx）total-vm：6774496kB，anon-rss：74020kB，file-rss：3099352kB 

rss:74020kB, file-rss:3099352kB 74020 + 3099352 = 3173372 3173372 / 4 = 793343 

 [19635] 501 19635 1693624 793343 1 0 0 vmware-vmx 

 if (file_inactive > zone_high - free_mem) then reclaim (zone_high - free_mem) file inactive pages else reclaim from anonymous pool