站上有个 1 核 1G 的小机器,跑 MySQL 5.7 + PHP 5.6 + Nginx,日常访问量不大,日均几千 PV。但每个月总有那么一两次,MySQL 进程被 OOM killer 杀掉,重启之后一切正常,然后又被杀。更麻烦的是重启之后并没有慢下来,过几个小时才慢慢变卡。dmesg 里的记录长这样:
Out of memory: Kill process 1187 (mysqld) score 812 or sacrifice child
Killed process 1187 (mysqld) total-vm:1423180kB, anon-rss:921400kB注意 total-vm 是 1.4G 而 anon-rss 是 900M——这不是「有人写了个大查询一次吃掉内存」,而是 MySQL 长期稳在 900M 附近,某天再加上 PHP-FPM 的峰值就顶穿了。这篇复盘讲清楚两件事:MySQL 在 1G 机器上的内存到底花在哪,以及怎么算出一个不会天天被杀的配置。
一、先分清:MySQL 用了内存,和 MySQL 泄漏了内存
很多人看到 900M 就觉得是内存泄漏,于是去查 information_schema.processlist、去重启、去升级版本。但在默认配置的 MySQL 5.7 里,900M 是一个完全「正常」的数字,因为它的静态预留本来就很大:
innodb_buffer_pool_size默认 128M(这个版本起已经是这个值,老版本是 8M)innodb_log_buffer_size默认 16Mkey_buffer_size默认 8M(MyISAM 用的,不用的表也照样预留)innodb_additional_mem_pool_size(5.7 已移除)- 每个连接分配读缓冲
read_buffer_size+ 排序缓冲sort_buffer_size+ join 缓冲join_buffer_size,默认各 128K~256K,但注意这不是按连接预留,是按连接实际使用,而且排序和 join 可能分配多份 table_open_cache与table_definition_cache对应的内存- performance_schema 和 information_schema 本身占用,默认 performance_schema 就可能占几十到上百 M
真正决定「稳不稳」的不是这些默认值,而是两件事:buffer pool 是常驻的(一旦分配就不还给系统),以及 连接数峰值时刻的这些 per-connection 缓冲会叠加。1G 的小机器,一旦 max_connections 打到默认 151,即使每个连接只多用 1M,那也是 150M 的瞬时增量。
二、把内存账算清楚:一张表算出上界
我在实际排查时用的算法是这样的,不算精确但足够判断「会不会被杀」:
MySQL 常驻 ≈ innodb_buffer_pool_size
+ innodb_log_buffer_size
+ key_buffer_size(不用 MyISAM 可以调到 8M)
+ performance_schema 实际占用(可关闭)
峰值增量 ≈ max_connections × (read + sort + join + binlog cache)
+ tmp_table_size(每个需要临时表的查询一份,最多到 max_heap_table_size)默认配置按 151 连接、各 256K 缓冲算:151 × 1M ≈ 150M。加上 buffer pool 128M 和其他杂项,MySQL 自身的上界大约 400M~500M。但实测 anon-rss 是 900M,差的这 400M 在哪?
答案通常在 information_schema.processlist 里看不出来,要去看 performance_schema 的统计,或者更直接地——看 /proc/mysqld/maps 的匿名段分布。不过对 1G 机器来说,根本不用这么细,因为结论已经很明确:这台机器的 MySQL 常驻超过 900M,留给系统和 PHP 的空间不够了。
三、先确认到底是谁在吃内存
OOM 日志会告诉你杀谁,但不会告诉你为什么。判断顺序我固定成三步:
# 1. 看整体内存与 swap 使用
free -m
# 关键看 available 这一列,不是 free
# 2. 按 RSS 排序看前几名
ps -eo pid,rss,comm --sort=-rss | head -8
# 3. 看 MySQL 自己的账本
mysql -uroot -p -e "SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_total';
SHOW GLOBAL STATUS LIKE 'Threads_connected';
SHOW VARIABLES LIKE 'innodb_buffer_pool_size';"
# 4. 看 PHP-FPM 进程数与每个进程的内存
ps -eo rss,comm | awk '$2 ~ /php-fpm/ {s+=$1; n++} END {print n" procs, avg "s/n/1024" M, total "s/1024" M"}'这次的结果是:mysqld 930M、php-fpm 5 个进程共 180M、nginx 30M、系统其余 80M,加起来 1.2G,物理内存只有 1G 加上一点 swap。也就是说,无论 MySQL 有没有泄漏,这台机器本来就已经超卖了。
四、给 1G 机器配一份「不会被杀」的 my.cnf
核心思路是让 buffer pool 吃掉大部分内存,把 per-connection 缓冲压到最小,并限制连接数。缓冲池大是好事(减少磁盘 IO),但必须留出足够空间给系统和其他进程。1G 机器上我用的这套值:
[mysqld]
# 缓冲池:1G 机器不要超过 256M,否则加上 PHP 必被杀
innodb_buffer_pool_size = 256M
innodb_buffer_pool_instances = 1
innodb_log_file_size = 64M
innodb_log_buffer_size = 8M
# per-connection 缓冲:默认值在低内存机器上是灾难
read_buffer_size = 128K
read_rnd_buffer_size = 128K
sort_buffer_size = 256K
join_buffer_size = 128K
binlog_cache_size = 16K
tmp_table_size = 16M
max_heap_table_size = 16M
# 连接数:按实际并发设,不要留默认的 151
max_connections = 40
max_user_connections = 30
thread_cache_size = 8
table_open_cache = 400
table_definition_cache = 400
# 不用 MyISAM 就把 key buffer 压到最小
key_buffer_size = 8M
skip_name_resolve = ON
有几个细节值得单独说:
innodb_buffer_pool_instances 设 1。多实例是为了减少锁竞争,但在小 buffer pool 下反而会碎片化,每个实例还有独立的管理开销。低于 1G 的 pool 一律设 1。
sort_buffer_size 不要贪大。它不是每个连接一份,而是每个需要排序的线程一份,并且在大结果集排序时 MySQL 可能分配多份。设成 4M 看起来很慷慨,实际在 40 个连接同时排序时就是 160M。如果确实有大排序需求,应该改 SQL 加索引,而不是加大这个值。
skip_name_resolve = ON。关掉反向 DNS 解析,既省内存也避免连接建立时卡住。副作用是权限表里不能用主机名,只能写 IP 或 localhost——对单机站来说没有任何影响。
performance_schema 直接关掉。在小机器上它占的内存和 CPU 都不值得:
performance_schema = OFF代价是失去一部分细粒度监控。替代方案是打开慢查询日志,那个几乎不占内存:
slow_query_log = 1
slow_query_log_file = /var/log/mysql/slow.log
long_query_time = 1
log_queries_not_using_indexes = 0
注意 log_queries_not_using_indexes 在数据量小的站上会产生大量噪音(小表全表扫描其实比走索引快),建议保持关闭,只看真正的慢查询。
五、改完要验证,不能只是「看起来配好了」
配置改完 reload 之后,我会做三件事确认它真的生效,而不是以为自己配了:
# 1. 确认变量真的被读取(配置文件可能有多个,顺序很重要)
mysql -uroot -p -e "SHOW VARIABLES WHERE Variable_name IN
('innodb_buffer_pool_size','max_connections','performance_schema',
'sort_buffer_size','key_buffer_size');"
# 2. 看实际分配的 buffer pool 页数,换算成字节
mysql -uroot -p -e "SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_total';"
# 页大小默认 16K,页数 × 16K 应约等于配置值
# 3. 持续观察 RSS 是否稳定
watch -n 5 'ps -o rss= -p $(pgrep -x mysqld)'
# 4. 观察 24 小时的连接数峰值,判断 40 够不够
mysql -uroot -p -e "SHOW GLOBAL STATUS LIKE 'Max_used_connections';"第 4 步是关键:如果 Max_used_connections 曾经接近 max_connections,说明会开始拒绝连接(报 Too many connections),这时候不能简单调大——应该先看是不是有连接没释放。
配置文件读取顺序是另一个高频坑:MySQL 会依次读 /etc/my.cnf、/etc/mysql/my.cnf、/etc/mysql/mysql.conf.d/*.cnf 等,后面的会覆盖前面的。如果你把 innodb_buffer_pool_size 写在了 /etc/my.cnf 里,而 mysqld.cnf 里也有一条,实际生效的是后者。查一下到底读了哪些文件:
mysqld --verbose --help 2>/dev/null | grep -A2 "Default options"
# 或者
mysql -uroot -p -e "SHOW VARIABLES LIKE 'datadir'; SELECT @@global.innodb_buffer_pool_size/1024/1024 AS MB;"六、连接从哪来:别忽略 PHP-FPM 那边
MySQL 被杀,有一半责任在连接管理上。Typecho 这类 PHP 程序默认是「每个请求建一次连接」,如果 PHP-FPM 的 pm.max_children 设成 20,理论峰值就是 20 个并发连接,加上爬虫和后台任务就更多。两个方向都要收紧:
; /etc/php/5.6/fpm/pool.d/www.conf
pm = dynamic
pm.max_children = 12
pm.start_servers = 3
pm.min_spare_servers = 2
pm.max_spare_servers = 5
pm.max_requests = 500
pm.max_requests = 500 是防止内存缓慢增长的关键:每个 PHP 进程处理 500 个请求后自行退出,把可能存在的内存泄漏周期性清掉。小机器上这个值设 300~500 都合理。
pm.max_children 与 MySQL 的 max_connections 之间要留余量。经验值是 max_connections ≥ max_children + 10:多出来的 10 条留给后台维护任务、定时脚本和你自己手工连上去排查。这次配置里 12 个 child 配 40 个连接,余量很足。
七、加 swap 不是解决内存问题,是买时间
1G 机器上我依然会加一块 512M~1G 的 swap。不是指望它扛性能,而是让 OOM killer 在内存瞬时波动时有缓冲,不至于直接杀掉数据库。同时把 vm.swappiness 调低,让内核尽量不把活跃数据换出去:
fallocate -l 1G /swapfile
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfile
echo '/swapfile none swap sw 0 0' >> /etc/fstab
# 1G 机器上设 10 比较合适,默认 60 会导致频繁换出
sysctl -w vm.swappiness=10
echo 'vm.swappiness=10' >> /etc/sysctl.conf反过来,如果 swap 使用量持续增长不回落,那说明真的超卖了,加 swap 只是在延长痛苦的周期。判断方法很简单:free -m 的 swap used 是否在空闲时段(比如凌晨)能降下来。降不下来的话,该做的不是继续加 swap,而是减 buffer pool 或者升级机器。
八、把这件事变成持续可见的一条线
改完之后如果没有任何监控,几个月后同样的故障还会再来一次,因为你不会记得当时为什么设 256M。我现在的做法是加一个每天跑一次的小检查,把关键数字写进日志,超阈值就发一封邮件给自己:
#!/bin/sh
# /usr/local/bin/memcheck.sh
AVAIL=$(free -m | awk '/^Mem:/ {print $7}')
SWAPU=$(free -m | awk '/^Swap:/ {print $3}')
MAXC=$(mysql -uroot -p"$MYPASS" -N -e "SHOW GLOBAL STATUS LIKE 'Max_used_connections'" | awk '{print $2}')
echo "$(date -Iseconds) avail=${AVAIL}M swap_used=${SWAPU}M max_conn=${MAXC}"
[ "$AVAIL" -lt 100 ] && echo "WARN: available memory below 100M" | mail -s "mem warning" you@example.com这条记录的用处是:当某天再次变卡时,你能直接看到 available 是「一直很低」还是「突然掉下来」。前者是配置问题,后者通常是某个新功能或爬虫带来的流量突增——两种情况的处理方式完全不同。
九、小结
1G 机器上 MySQL 被 OOM 杀掉,绝大多数情况都不是 MySQL 的 bug,而是三个数字凑在一起爆了:buffer pool 太大、per-connection 缓冲按默认值叠加、连接数上限留得太宽。修的方法不是「加内存」,而是先把账算清楚——常驻多少、峰值增量多少、系统和其他进程要留多少,剩下的才是 buffer pool 的份额。
顺序也值得记住:先看 free -m 的 available 确认是不是真的超卖,再看 ps 按 RSS 排序确认谁吃得多,然后才去改 my.cnf。跳过前两步直接改配置,很容易把 buffer pool 从 128M 调到 512M,让问题变得更糟。