一核小机的凌晨假死:系统盘写满、突发 I/O 与写回限额的三步定位

凌晨三点的那次「假死」

一台跑了两年的一核一 G 小机器,某个凌晨突然连不上。SSH 能登进去,但敲命令要等十几秒才回;访问网站全站 502;面板上 CPU 只有 12%。重启之后一切正常,第二天、第三天都没再出现。直到一周后又来一次,才确定这不是偶然。

这种情况在个人站上极其常见,但它很擅长伪装成各种别的故障:有人以为是 Nginx 崩了,有人以为是 PHP-FPM 进程池炸了,有人说「CPU 又不高,肯定是内存不够」。真正的原因往往只有一个——磁盘写满了,而且写满的那一刻正在产生大量临时文件。

这篇讲这一类故障的完整排查路径:先讲清楚「磁盘写满造成的假死」为什么症状像 CPU 停顿,再讲三步定位(盘满 / inode / 突发 I/O),最后给一套在一核小机器上真正管用的根治手段,包括 systemd-oomd 与 cgroup v2 的写回限额。这些都是 vps 上能直接落地的操作,不涉及集群和专用硬件。

一、为什么「磁盘满了」看起来像「CPU 卡住」

很多人不理解为什么一个纯磁盘问题会表现成系统假死。原因在于 Linux 的写回机制:应用调用写文件时,数据先进入内核的页缓存,把 write() 交给内核就返回了;真正的落盘由内核线程异步完成。当磁盘写满或者写速率跟不上的时候,这个异步过程开始积压,进程被放进不可中断睡眠状态(D 状态)等 I/O 完成。

D 状态的进程杀不掉、也不消耗 CPU。所以你会看到:CPU 使用率很低(因为大家都在等),load average 却很高(它统计的是「可运行 + 不可中断」的进程数),任何需要读写磁盘的操作——bash 补全、ls、ps、连 SSH 登录后 motd 里那些统计脚本——全部卡住,于是「机器像死了一样」。

这就是为什么第一个要看的不是 CPU,而是这两个数一起看:

  • load average 高而 %Cpu(s) 里的 idle 也高 → 典型的 I/O 等待,去查磁盘。
  • load average 高且 us/sy 都高 → 才是真正的 CPU 密集。

顺带把第三个数也记下来:wa(iowait)。它在 top 的 %Cpu(s) 那一行里,长期超过 20% 就该开始怀疑磁盘,超过 50% 基本可以确定。但要注意 wa 是一个百分比,在一核机器上它极容易被「一个进程在等 I/O」刷到很高的值,而实际影响可能不大,所以 wa 要和 load 一起看。

二、三步定位:盘满、inode、突发写

按这个顺序来,三步能覆盖九成情况,而且每一步都比上一步更快。

第一步:df 看容量,顺便看 inode

df -hT
df -i

两条都要跑,不要只跑第一条。原因很实在:磁盘「有空间」但「写不进去」的经典原因就是 inode 耗尽。大量小文件(缓存碎片、session 文件、邮件队列、日志分片)会把 inode 用光,此时 df -h 显示还剩 30% 空间,而任何创建新文件的操作都报 No space left on device。

这是最容易浪费半天的一种情况:你按「磁盘满」去查,怎么找都找不到大文件,因为问题根本不在字节数上。看到 df -i 的 IUse% 接近 100%,直接跳到「清小文件」而不是「找大文件」。

另一个反直觉的点:根分区满和业务分区满载是两回事。系统盘写满会连带 MySQL 无法写临时表、PHP 无法写 session、日志无法写入、甚至连 /tmp 都不够——表现是「所有服务同时开始报错」,很容易被误判为「某个服务把整机搞挂了」。先 df -hT 把所有挂载点过一遍,确认是哪一个满了。

如果 df 显示满了,但 du 加起来对不上,说明有已删除但仍被进程打开的文件占着空间。这时候不要重启服务,先用下面这条找出「幽灵文件」,否则你清完一圈,df 还是满的:

lsof +L1 2>/dev/null | awk '{print $1, $2, $7, $9}' | sort -k3 -n -r | head -20

输出里 LINK 计数非 0 的就是已 unlink 但句柄未释放的文件。最典型的是被删掉的 Nginx 访问日志——日志文件被 rm 掉了,但 nginx worker 还开着句柄,空间一直不释放。正确的做法是让日志轮转而不是手动 rm,或者用 truncate -s 0 清空而不是删除。

第二步:只花十秒确认是不是「写满了」

有时候你赶到的时候磁盘已经恢复了(比如日志轮转刚跑过,或者重启释放了句柄),这时候查现状什么都看不到。所以要在系统里留下「曾经满过」的证据,这一点比事后排查重要得多:

# 每 5 分钟记一次磁盘与 inode 水位,保留 30 天
# /etc/cron.d/diskwatch
*/5 * * * * root df -P / /var /home 2>/dev/null | awk 'NR>1{printf "%s %s %s %s %s\n", strftime("%F %T"), $1, $5, $6, $7}' >> /var/log/disk_watermark.log

这份日志的价值在于:故障发生时你能立刻回答「那一刻根分区是多少」。如果没有它,你只能在事后靠猜。我在另外一台机器上就是靠这份 log 确认了「假死发生在根分区 100% 之后的第 40 秒」,而不是相反。

第三步:找出谁在写

如果确认了盘满,下一步是找到写入源。不要在盘满的时候去 du -sh /*——那个命令本身会遍历整个文件系统,在一台已经 I/O 阻塞的机器上,它会让情况更糟,而且你多半等不到它跑完。

按「最可能的几个目录」定点查,每个都是秒级:

du -xhd1 /var/log /var/lib/mysql /tmp /home 2>/dev/null | sort -h | tail -8

四个位置能覆盖大部分情况:

  • /var/log:没配轮转的访问日志、journald 无上限、重复的 .gz 堆积。日志是第一位的原因。
  • /var/lib/mysql:binlog(这是最凶的一个,一天几个 G)、ibdata 未开独立表空间、临时表、慢日志。
  • /tmp:上传临时文件没清、视频转码中间文件、备份脚本的半成品。
  • Web 根下的 cache 或 runtime 目录:某些框架的编译缓存会疯长。

加 -x 很重要,它让 du 不跨文件系统,避免因为挂载了另一个盘导致统计失真,也避免你去遍历 /proc 这种虚拟文件系统。

找到大目录之后,还要回答「是谁在写」。如果磁盘还在被持续写入,直接看内核给我写的进程列表比翻日志快:

# 哪个进程的写入量最大(单位 KB)
for p in /proc/[0-9]*; do
  io=$(cat $p/io 2>/dev/null | awk '/^write_bytes/{print $2}')
  [ -n "$io" ] && echo "$io $(cat $p/comm 2>/dev/null) ${p#/proc/}"
done | sort -n -r | head -10

这条命令比 iotop 好在不依赖任何额外安装,在最小化系统里也能跑。输出里的字节数是进程生命周期内累计的,所以它回答的是「从启动到现在谁写得最多」,而不是「此刻谁在写」——但对于找元凶,累计值通常更有说服力。

三、比「盘满」更隐蔽的:突发写把 I/O 打满

有一类故障,磁盘从没满过,df 一片正常,但每天凌晨固定时段全站变慢。原因不是容量,而是某一刻的写入速率超过了磁盘能承受的上限,页缓存来不及刷,所有等 I/O 的进程一起卡住。

在这类场景里,罪魁祸首几乎总是备份和数据库:

  • 凌晨 3 点 mysqldump 导出一个几百兆的库,一次性写满磁盘带宽。小机器上的云盘 IOPS 往往只有几百,写几百兆能占用好几分钟。
  • 备份打包(tar/zip)把整个 Web 目录读一遍再压缩写一遍,读放大 + 写放大同时发生。
  • MySQL 的脏页刷盘(checkpoint)与备份撞在一起。
  • 系统自动更新在后台解包大量小文件。

判断的方法是把「变慢的时间点」和「计划任务的时间点」对齐。这一步不用技术,用眼睛看:crontab -l、ls /etc/cron.d/、systemctl list-timers --all,看看哪个任务落在故障窗口里。我遇到的一次,就是 mysqldump 和一个 find / -name '*.log' 的清理脚本同时跑,两个都在扫盘,机器直接躺了十分钟。

三个立竿见影的缓解手段,都在系统层,不依赖业务改造:

手段一:把备份进程降到最低 I/O 优先级

# 在备份脚本的第一行加:
ionice -c3 -n7 nice -n19 /usr/local/bin/backup.sh

ionice -c3 是 idle 类,意味着「只有磁盘空闲时才给它用」。这不会让备份变快,实际上会明显变慢,但换来的是前台请求几乎不受影响。在一核小机上,这个取舍永远是值得的。

如果用的是 systemd timer(现在更推荐),直接写进 unit 里,比脚本里套层 shell 更干净:

[Service]
Type=oneshot
ExecStart=/usr/local/bin/backup.sh
IOSchedulingClass=idle
IOSchedulingPriority=7
Nice=19
CPUQuota=50%
TimeoutStartSec=3h

CPUQuota=50% 这一行是给压缩用的。tar+gzip 会把唯一那个核吃满,导致前台 PHP 请求拿不到 CPU——这是另一种「假死」,只不过表现是 CPU 高而不是 I/O 等待。

手段二:限制内核脏页写回的上限

Linux 默认允许大量脏页在缓存里堆着,等到某个阈值才集中刷盘。这个「集中刷盘」的瞬间,就是前台请求卡死的时刻。把上限压低,内核会更早、更平缓地开始写,整体吞吐略降,但尖峰被抹平了。

# /etc/sysctl.d/60-vm-writeback.conf
vm.dirty_background_ratio = 5
vm.dirty_ratio = 10
vm.dirty_expire_centisecs = 1500
vm.dirty_writeback_centisecs = 300

这四个参数的语义值得记清楚:

  • dirty_background_ratio:脏页超过内存的这个百分比时,内核开始在后台刷盘。默认 10%,压到 5% 意味着更早启动。
  • dirty_ratio:超过这个百分比时,写入的进程被强制阻塞等刷盘。默认 20%,这是最痛的卡顿来源,压到 10%(一 G 内存约 100MB)能让单次卡顿从几十秒降到几秒。
  • dirty_expire_centisecs:脏页最久可以滞留多久(单位 1/100 秒)。1500 = 15 秒。
  • dirty_writeback_centisecs:后台刷盘线程的唤醒间隔。300 = 3 秒。

注意单位:一个用百分比,一个用「百分之一秒」。这两个单位搞混是极常见的错误,写错会得到完全相反的效果。生效方式用 sysctl --system,并确认没被别的配置文件覆盖(sysctl -a | grep dirty_ratio 看最终生效值)。

手段三:给单个服务套内存与 I/O 的笼子

比起调全局参数,更精确的做法是只限制那些「不该抢资源」的服务。cgroup v2 已经普及,systemd 直接在 unit 里写就行:

[Service]
# 限制某服务的内存,防止它把整机拖进 OOM
MemoryMax=256M
MemoryHigh=200M
# 限制每秒的写入字节数(写带宽上限)
IOWriteBandwidthMax=/dev/sda 8M
# 限制 IOPS
IOReadIOPSMax=/dev/sda 100

MemoryHigh 是「软限」,超过之后内核会积极回收但不会杀进程;MemoryMax 是「硬限」,超过直接 OOM kill 这个 cgroup 内的进程。两个一起设,让服务自己先承受压力,而不是把整机拖下去。

这里有个坑值得单独说:IOWriteBandwidthMax 的设备名必须是块设备而不是分区,写 /dev/sda1 会报错不生效。用 lsblk -o NAME,TYPE,MOUNTPOINTS 看准了写。而且这个参数依赖 IO 控制器被启用,云主机上偶有内核没有编入 io 控制器的情况,设置完用 systemctl show 服务名 -p IOAccounting 确认一下是 yes。

四、systemd-oomd:它能救你,也能杀你

新一些的发行版默认装了 systemd-oomd,它用 PSI(pressure stall information)来判断哪些 cgroup 正在被内存压力折磨,并在系统整体卡死之前杀掉那个 cgroup 里的进程。这个机制对一 G 小机非常有用,因为「MySQL 和 PHP-FPM 同时抢内存,最后内核 OOM killer 随机杀掉一个」往往比「杀掉最大的那个」更糟——随机杀可能导致 MySQL 死掉,而 MySQL 重启要花好几分钟。

但它有两个必须提前想清楚的地方:

第一,它杀的是整个 cgroup,不是一个进程。如果 PHP-FPM 和 Nginx 跑在同一个 slice 里,oomd 判定这个 slice 有压力时,会把整个 slice 清空——包括 Nginx。你看到的现象是「Nginx 和 PHP 同时挂了」,很容易误以为是内存不足导致的级联崩溃,实际是主动被杀。

第二,默认阈值对个人站可能过于激进。ManagedOOMSwap=kill 会让它在 swap 使用率高的时候直接动手。小机如果有 swap 且使用率正常波动到 60%,就可能被误杀。合理的做法是根据自己机器的实际情况调整,而不是用默认值撞运气。

# 看当前配置
oomctl
# 看最近的击杀记录(关键,它会告诉你杀了谁、为什么)
journalctl -u systemd-oomd --since "7 days ago" | grep -i kill

我建议每个站长都花五分钟做一次这件事:journalctl 里搜 Killed process 和 oomd,把自己机器上「过去一个月被谁杀过」盘一遍。很多「服务莫名重启」「MySQL 突然起不来」的旧账,答案就在这几行日志里。

五、把这套流程固化成十分钟的月度巡检

上面讲的所有内容,落到日常其实只有五条,加起来不到十分钟,但能挡住绝大多数「凌晨假死」:

  1. 看三条曲线:磁盘水位、inode 水位、load average。都是数字,不是感觉。有前面那个 disk_watermark.log,这条就是 tail 一下。
  2. 核对四个轮转:Nginx 访问日志、journald(SystemMaxUse=)、MySQL 慢日志与 binlog(expire_logs_days 或 binlog_expire_logs_seconds)、应用自己的日志。四个里只要有一个没配,迟早出事。
  3. 看一眼失败的任务:systemctl --failed,以及备份脚本的上次成功时间。备份失败没人知道,是个人站最贵的一类事故。
  4. 对齐一次时间窗:把计划任务的时间表和「上周变慢的时间点」对一遍,确认没有新的碰撞。
  5. 确认一次告警还活着:手动触发一次磁盘告警,看它是否真的发到了你的手机上。从不测试的告警等于没有告警。

回到开头那台假死的机器。最终定位是:根分区在凌晨 3 点被 mysqldump 的临时文件和一个没配轮转的日志同时写满,内核进入强制写回,所有进程进 D 状态,CPU 因此看起来完全空闲。修复动作只有三件——给备份加 ionice -c3、给 journald 加 SystemMaxUse=200M、把 dirty_ratio 压到 10。之后半年没再复现。

这类故障的特点就是「症状指东,病根在西」。记住一条判据就够了:load 高、CPU 闲、命令慢,先看磁盘和 I/O,不要看 CPU。然后按容量、inode、突发写这三步往下走,八成能在十分钟内定位。

Last modification:November 20th, 2026 at 10:34 pm

Leave a Comment