我只是把我所有的网站都移到了一台配有4GB内存的新服务器上。 几乎马上,mysql开始崩溃,并且一度没有重启,这导致了重大的中断(因为我没有注意到,直到有人指出)。
这里是剥离CRON作业的日志: http : //pastebin.com/9SAUBcFp (apache2调用oom-killer,内存不足错误等)
df -h没有超过4%的使用率。
这是一个free -m的输出
total used free shared buffers cached Mem: 4002 2090 1911 0 168 1015 -/+ buffers/cache: 906 3095 Swap: 255 8 247
这是mysqlreport的输出
__ Key _________________________________________________________________ Buffer used 849.00k of 16.00M %Used: 5.18 Current 2.99M %Usage: 18.71 Write hit 44.87% Read hit 98.84% __ Questions ___________________________________________________________ Total 198.55k 33.8/s QC Hits 147.94k 25.1/s %Total: 74.51 DMS 31.35k 5.3/s 15.79 Com_ 14.20k 2.4/s 7.15 COM_QUIT 5.07k 0.9/s 2.55 -Unknown 9 0.0/s 0.00 Slow 2 s 0 0/s 0.00 %DMS: 0.00 Log: ON DMS 31.35k 5.3/s 15.79 SELECT 27.65k 4.7/s 13.93 88.19 UPDATE 1.78k 0.3/s 0.89 5.66 INSERT 1.73k 0.3/s 0.87 5.51 DELETE 199 0.0/s 0.10 0.63 REPLACE 0 0/s 0.00 0.00 Com_ 14.20k 2.4/s 7.15 set_option 9.29k 1.6/s 4.68 change_db 4.63k 0.8/s 2.33 show_tables 260 0.0/s 0.13 __ SELECT and Sort _____________________________________________________ Scan 850 0.1/s %SELECT: 3.07 Range 398 0.1/s 1.44 Full join 0 0/s 0.00 Range check 0 0/s 0.00 Full rng join 0 0/s 0.00 Sort scan 1.01k 0.2/s Sort range 361 0.1/s Sort mrg pass 0 0/s __ Query Cache _________________________________________________________ Memory usage 15.09M of 16.00M %Used: 94.30 Block Fragmnt 2.31% Hits 147.94k 25.1/s Inserts 21.70k 3.7/s Insrt:Prune 2.86:1 2.4/s Hit:Insert 6.82:1 __ Table Locks _________________________________________________________ Waited 0 0/s %Total: 0.00 Immediate 35.51k 6.0/s __ Tables ______________________________________________________________ Open 400 of 400 %Cache: 100.00 Opened 5.55k 0.9/s __ Connections _________________________________________________________ Max used 9 of 151 %Max: 5.96 Total 5.07k 0.9/s __ Created Temp ________________________________________________________ Disk table 554 0.1/s Table 1.61k 0.3/s Size: 16.0M File 6 0.0/s __ Threads _____________________________________________________________ Running 1 of 1 Cached 7 of 8 %Hit: 99.82 Created 9 0.0/s Slow 0 0/s __ Aborted _____________________________________________________________ Clients 0 0/s Connects 5 0.0/s __ Bytes _______________________________________________________________ Sent 3.57G 607.2k/s Received 34.01M 5.8k/s __ InnoDB Buffer Pool __________________________________________________ Usage 98.28M of 127.98M %Used: 76.79 Read hit 99.98% Pages Free 1.90k %Total: 23.21 Data 5.61k 68.50 %Drty: 0.00 Misc 679 8.29 Latched 0 0.00 Reads 21.60M 3.7k/s From file 4.62k 0.8/s 0.02 Ahead Rnd 0 0/s Ahead Sql 0/s Writes 10.83k 1.8/s Flushes 5.27k 0.9/s Wait Free 0 0/s __ InnoDB Lock _________________________________________________________ Waits 0 0/s Current 0 Time acquiring Total 0 ms Average 0 ms Max 0 ms __ InnoDB Data, Pages, Rows ____________________________________________ Data Reads 5.57k 0.9/s Writes 7.95k 1.4/s fsync 3.10k 0.5/s Pending Reads 0 Writes 0 fsync 0 Pages Created 48 0.0/s Read 5.56k 0.9/s Written 5.27k 0.9/s Rows Deleted 190 0.0/s Inserted 242 0.0/s Read 7.47M 1.3k/s Updated 1.36k 0.2/s
这是mysqltuner的输出
-------- General Statistics -------------------------------------------------- [--] Skipped version check for MySQLTuner script [OK] Currently running supported MySQL version 5.5.35-0+wheezy1-log [OK] Operating on 64-bit architecture -------- Storage Engine Statistics ------------------------------------------- [--] Status: +Archive -BDB -Federated +InnoDB -ISAM -NDBCluster [--] Data in MyISAM tables: 1005M (Tables: 335) [--] Data in InnoDB tables: 143M (Tables: 68) [--] Data in PERFORMANCE_SCHEMA tables: 0B (Tables: 17) [!!] Total fragmented tables: 76 -------- Security Recommendations ------------------------------------------- [OK] All database users have passwords assigned -------- Performance Metrics ------------------------------------------------- [--] Up for: 1h 28m 55s (154K q [28.899 qps], 4K conn, TX: 3B, RX: 25M) [--] Reads / Writes: 83% / 17% [--] Total buffers: 192.0M global + 2.7M per thread (151 max threads) [OK] Maximum possible memory usage: 597.8M (14% of installed RAM) [OK] Slow queries: 0% (0/154K) [OK] Highest usage of available connections: 5% (9/151) [OK] Key buffer size / total MyISAM indexes: 16.0M/264.4M [OK] Key buffer hit rate: 98.8% (77K cached / 912 reads) [OK] Query cache efficiency: 87.2% (116K cached / 133K selects) [!!] Query cache prunes per day: 5182 [OK] Sorts requiring temporary tables: 0% (0 temp sorts / 1K sorts) [OK] Temporary tables created on disk: 24% (427 on disk / 1K total) [OK] Thread cache hit rate: 99% (9 created / 4K connections) [!!] Table cache hit rate: 9% (400 open / 4K opened) [OK] Open file limit used: 61% (631/1K) [OK] Table locks acquired immediately: 100% (18K immediate / 18K locks) [!!] InnoDB data size / buffer pool: 143.3M/128.0M -------- Recommendations ----------------------------------------------------- General recommendations: Run OPTIMIZE TABLE to defragment tables for better performance MySQL started within last 24 hours - recommendations may be inaccurate Increase table_cache gradually to avoid file descriptor limits Variables to adjust: query_cache_size (> 16M) table_cache (> 400) innodb_buffer_pool_size (>= 143M)
鉴于上面的“调整variables”,我对/etc/mysqld/my.cnf做了如下修改:
key_buffer_size = 280M innodb_buffer_pool_size = 150M table_cache并将其更改为100(我将不断增加,直到超过400) 这里有什么明显的问题,我忽略了什么,或者我应该做什么?
你几乎没有任何交换(256M),作为一个临时的措施,我会添加更多的交换,并把swappiness(vm.swappiness),以避免无用的I / O等待。 SWAP很慢,但它可以防止PIDS崩溃。 此外,grep你的OOM和检查时间戳,看看是否有任何规律随着时间的推移崩溃。 在我这个时代,我不得不通过一些制作精良的cron工作。 如果你有<8GB的内存,我将确保至less有2GB的交换空间。 就像我说的那样,交换会减慢速度,但是比起数据库崩溃和丢失事务并且在启动时检查/修复表格要好。
增加更多记忆似乎是合乎逻辑的结论。
顺便说一句,你从来没有提到过,如果你是从许多不同的机器安慰你的网站到一个或所有的网站运行在一个旧的服务器(多less内存)。 这个信息会非常有帮助,但我仍然认为你只需要更多的内存。
我猜你的问题实际上是服务器内存太多的Apache客户端。 当你的stream量激增时,Apache进程最终会耗尽所有的内存。 这迫使操作系统开始强行交换进程,这往往使事情变得更糟。 最后你的交换内存用完了,操作系统会杀死它认为最好的东西…在这种情况下,MySQL使用了大量的内存。 请注意,增加交换内存只会延迟不可避免的崩溃。
我首先将Apache的MAXCLIENTS减less到基于服务器能力的更合理的值。 您可以运行top并查看httpd进程的RES/SHR列来做一个粗略的估计。 它们之间的差别大概是每个subprocess使用多less。 例如,在我的服务器上,每个孩子的平均内存使用量是40MB,我希望Apache只使用3GB,所以我的MAXCLIENTS设置为75(3000/40)。 您可以根据需要稍微使用此值和其他某些Apache连接设置,以防止Apache使用所有RAM并开始交换。
您也可以从造成大量Apache客户端的angular度来看待它。 如果这是一个真正的stream量浪涌/峰值,那么你可能需要一个更大的服务器或更多的服务器,或者添加一个caching层来减lessApache的负载。 如果你的服务器速度太慢,无法处理正常的传入请求数量,那么你会希望将Apache的MAXCLIENTS降低到实际可以处理的水平,而不需要备份请求。 或者,也许有一个服务器,应用程序或数据库问题,导致东西locking或冻结需要find并修复。