一台小机的磁盘 I/O 排查:四种慢的分型、iostat 三个数与落到进程的三步

一、为什么一台小机的磁盘 I/O 值得单独写一篇

CPU、内存、磁盘三个里,最容易被误判的是磁盘。CPU 打满有明确的观测值,内存不够会 OOM 留日志,磁盘慢却经常表现成「网站偶发卡顿、后台偶尔转圈」,让人跑去查 PHP、查 MySQL、查网络,一圈下来什么也没查到。我前后在两台 1G 内存的小机器上排查过三次这类问题,最后一次才把方法固定下来,从那以后同类故障基本能在二十分钟内定到具体进程。

先说机制,这是整套方法的根。磁盘慢的时候,进程不是在算,而是在等:内核把它放进不可中断睡眠状态,等块设备把那几个块读回来。这种状态下的进程不占用 CPU,也杀不掉,因为它不在用户态执行,也不响应普通信号。于是你看到的现象是:负载均线很高、CPU 使用率却不高、命令敲下去半天才返回。这个组合一旦出现,先看磁盘,别急着排查代码。

这篇文章只讲一件事:怎么从一个模糊的「慢」字,走到「哪个进程、在哪块盘、是读还是写、是被谁拖的」这五个确定答案上。

二、第一步:分清四种「慢」,别一律当负载问题

在动任何命令之前,先用三个数把现象分个类:load average(1/5/15 分钟)、CPU 使用率(user+system)、以及磁盘利用率(%util,稍后细讲)。四种组合对应的方向完全不同:

  • load 高 + CPU 高:真正在算。查是不是某个 PHP 请求在死循环、某个压缩任务吃满单核。
  • load 高 + CPU 低 + 命令响应慢:绝大多数是磁盘等待。这是本篇主角。
  • load 高 + CPU 低 + 命令响应正常:可能是瞬时突发已经过去,最可能是进程数在排队的 D 状态残留;也可能是 NFS/网络存储挂载点卡住。
  • load 低 + 页面慢:根本不是本机资源问题,去看上游、CDN、数据库连接、DNS。

判断 D 状态进程有多少,一条命令够:

ps -eo state,pid,comm | awk '$1 ~ /^D/ {print}' | head
ps -eo state | grep -c '^D'

如果 D 状态进程常年个位数而 load 是 20,那 load 是被别的运行队列堆积撑起来的,或者干脆是容器内的 load 读数被宿主机污染了(容器里读 /proc/loadavg 拿到的是宿主机的值,这点非常重要,很多人在容器里排查半天,其实慢的是隔壁邻居)。

三、第二步:iostat 的三个数决定下一步往哪走

iostat -x 1 5 是这套流程的核心工具。它输出很多列,个人站排查只需要盯三个:r/s 与 w/s(每秒读/写次数)、await(平均每次 I/O 的等待毫秒数,包含排队时间)、aqu-sz(平均队列长度,老版本叫 avgqu-sz)。

判读规则可以直接背下来:

awaitaqu-sz结论
低(小于 5ms,SSD 小于 1ms)接近 0磁盘不是瓶颈,去查 CPU、内存、上游
高(几十到上百 ms)小(小于 2)单次 I/O 本身慢:设备老化、云盘限速、坏块重试
高大(大于 4 且持续)是真排队:请求量超过了盘的能力,要找源头限流

第三个组合才是「应用把盘打爆」,前两个组合各自对应完全不同的处置。这也是很多人一看到 await 高就去优化 SQL 却毫无效果的原因——他的盘是第一种情况,硬盘本身就在变慢。

顺带说清楚 %util。机械硬盘上 %util 接近 100% 意味着盘已经饱和,固态硬盘上这个数值的意义大幅降低,因为 SSD 可以并行处理多个请求,%util 90% 时性能可能还剩一大截。所以不要用 %util 作为唯一判据,要看 await 和队列。

云主机上还有一层额外变量:云盘的 IOPS 与吞吐是配额的。小规格实例的云盘很可能被限在几百 IOPS,超过就排队,表现和硬盘老化一模一样。判断方法是在 iostat 里看是否出现一个「稳定在某个数值附近的天花板」——如果 w/s 每次都恰好顶在 300 或者 2000,那不是应用的问题,是配额到了。这种情形升级盘规格或者拆盘分流才有用。

四、第三步:从设备落到进程,两条路都要会

知道是哪块盘慢之后,要找是谁在读写。两条路:有 iotop 用 iotop,没有就翻 /proc。很多精简系统装 iotop 要额外拉 py 依赖,我现在的脚本一律以 /proc 为主,iotop 只用于交互时看一眼。

/proc/进程号/io 里的几个字段含义要分清:rchar/wchar 是经过系统调用的字符数(含缓存命中),read_bytes/write_bytes 是真正落到块设备的字节数。判断「谁在打盘」要看后者,前者会被缓存放大,看着吓人但没意义。最简的采样脚本:

#!/bin/sh
# io_top.sh 采样两秒,列出写盘最多的十个进程
OUT=/tmp/io_top.txt
for p in /proc/[0-9]*; do
    pid=${p#/proc/}
    [ -r "$p/io" ] || continue
    w=$(awk '/^write_bytes/ {print $2}' "$p/io")
    r=$(awk '/^read_bytes/ {print $2}' "$p/io")
    echo "$pid $r $w"
done > "$OUT.a"
sleep 2
for p in /proc/[0-9]*; do
    pid=${p#/proc/}
    [ -r "$p/io" ] || continue
    w=$(awk '/^write_bytes/ {print $2}' "$p/io")
    r=$(awk '/^read_bytes/ {print $2}' "$p/io")
    echo "$pid $r $w"
done > "$OUT.b"
join "$OUT.a" "$OUT.b" | awk '{printf "%s %d %d\n", $1, $4-$2, $5-$3}' \
  | sort -k3 -nr | head -10 | while read pid dr dw; do
      printf "%8d KB/s写 %8d KB/s读 %s\n" $((dw/1024/2)) $((dr/1024/2)) "$(cat /proc/$pid/comm 2>/dev/null)"
    done

这个脚本跑两秒就出结果,比装工具快。注意两点:非 root 读不到别的用户的 io 文件,需要 sudo;进程在两秒内退出会让差值出现负数,脚本里忽略即可,不影响找大户。

在此基础上再加一条反查命令:拿到可疑进程后,看它到底在写哪个文件。lsof -p 进程号 能列出打开的文件,但已经删除但仍被打开的文件不会出现在目录里,这正是「df 显示盘满、删了文件却不释放」的经典原因。检查方法:

lsof +L1 2>/dev/null | head -20

输出里 link count 为 0 的条目就是幽灵文件。我在一台机器上遇到过 MySQL 的 binlog 被 rm 了但进程还在写,df 一直 100%,重启 mysqld 才释放,那次是靠这条命令三秒定位的。

五、四条最常见的真凶,各自的识别特征

一号:数据库的突发写入。特征极明显——写盘大户是 mysqld,iostat 里 w/s 尖峰,时间点固定。多半是备份、定时统计、批量更新。先看 SHOW ENGINE INNODB STATUS 与慢查询,再看 cron 表里那个时间点什么任务。处置不是优化 SQL,而是把它挪到低谷时段,并用 ionice -c3 nice -n 19 降级,让它只能吃「磁盘空闲时间」。

二号:日志刷盘。特征是一天中持续存在、写盘量平稳、跟着访问量走。Nginx 的 access_log 有 buffer 参数但默认关闭,PHP 的错误日志则常常因为 log_errors 加上一个误配置的死循环而疯长。先确认是谁的文件在长:

du -xhd1 /var/log /var/www 2>/dev/null | sort -h | tail -6

注意这里用了 -x(不跨文件系统),避免 du 跑进挂载点。磁盘已经打满时更不要跑 du -sh /,那是给快挂的盘再加一把火,只查你怀疑的四个目录。

三号:打包与压缩。tar、gzip、mysqldump 三件套在单核小机上既吃 CPU 又吃磁盘,还经常被安排在凌晨和备份窗口重叠。识别特征是写盘大户是 tar 或 gzip,且 CPU 的 system 占比高。处置:加 nice、加 ionice,或者把两个任务错开半小时。

四号:内存不足导致的换页。这一条最容易被忽略,因为它的表现是「读盘量大但没人在读」。1G 内存的机器上,MySQL 加 PHP-FPM 加日志分析很容易把可用内存吃光,内核开始把匿名页换到 swap,于是磁盘读飙升、所有进程都变慢。判断:

free -m
vmstat 1 5
grep -E 'pgpg|pswp' /proc/vmstat

si 和 so 两列(swap in/out)持续非零就是换页在进行。这时候去优化 SQL 完全没有用,要么加内存,要么把 FPM 的 pm.max_children 降下来,要么给 MySQL 的 buffer pool 划一个合理的上限。小机上最常见的错误是「内存参数全按大机抄」,两份大 buffer 一抢,swap 就来了。

六、止血顺序:先降速,再找因,最后才改架构

在生产上处理这类问题,顺序比办法更重要。我的固定四步:

  1. 先给大任务降级。不用管它是什么,renice 加 ionice -c3,让它在磁盘空闲时才拿资源。这一步通常能把页面响应拉回来一半,且零风险、可逆。
  2. 再拿现场证据。iostat 采样留一份,/proc/进程号/io 采样留一份,free -m 留一份。全部落文件,不要只截屏。事后复盘全靠这些数字。
  3. 才动配置。改 my.cnf、改 FPM、改 Nginx 缓冲,一次只改一处,改完观察半小时。同时改三处,出问题时你不知道是谁修的。
  4. 最后才谈扩容。绝大多数小机 I/O 问题不是「硬件不够」,而是「备份与业务抢同一块盘」「buffer 参数互相打架」「日志没轮转」。把这三件事做完,1G 机器也能跑得稳。

有一件事千万别做:磁盘满或 I/O 打满时,第一反应去 systemctl restart 一堆服务。重启会让正在写的文件处于半截状态,MySQL 会做崩溃恢复(更重的 I/O),Nginx 会重建日志句柄(如果原来是 rm 掉的,重启确实能释放空间,但那是碰巧)。先取证,再动。

七、把观测固化成常驻:三份水位日志

故障当下能回答「那一刻是多少」的人,排查速度是别人的三倍。所以我给每台小机都加了三份轻量的水位日志,代价是每分钟几个字节。

第一份是磁盘水位。每五分钟采一次 df,包括 inode:

# /etc/cron.d/disk-watermark
*/5 * * * * root /bin/sh -c 'date +\%F_\%T; df -h / /var 2>/dev/null | tail -2; df -i / | tail -1' >> /var/log/disk-wm.log 2>&1

注意 crontab 里 % 必须转义成 \%,这是一条被无数人踩过的规则——不转义时 % 会被 cron 当成换行,命令直接被截断,而且不报错。写到这里还要提醒一点:crontab 里最好只写「调一个脚本」,把逻辑全放进脚本文件,这样可以避开所有转义问题。

第二份是负载与压力的分钟级采样,用 sar 常驻:

apt-get install -y sysstat
sed -i 's/^ENABLED="false"/ENABLED="true"/' /etc/default/sysstat
systemctl restart sysstat
sar -d 1 3
sar -u -r -b -f /var/log/sysstat/sa$(date +%d) | head -20

第三份是 I/O 大户小时榜,把上面那个采样脚本包成 cron 每小时跑一次,只记前五名。三份日志加起来不到 10MB,但能把「偶发卡顿」从玄学变成可查的记录。这三份日志本身要放进 logrotate,否则它们自己会成为第六节里说的「二号真凶」。

八、长期视角:换盘、拆盘、限速,按性价比排序

如果确认盘本身能力不足(第二种组合:await 高但队列小,且换过多家云厂商都类似),那就落到硬件与架构上。按性价比排:

  • 把日志目录拆到独立盘或 tmpfs。日志是最不需要持久性的写入,把它放到另一块盘能立刻解耦大部分噪声 I/O。代价是 tmpfs 上的日志重启即丢,要配合远端日志收集。
  • 数据库单独一块盘。业务盘和数据库盘抢同一个 I/O 队列是单机站最常见的架构债。
  • 云盘升档。比起换整机,单独提升云盘 IOPS 配额通常便宜得多,而且是即时的。
  • 把重活挪出主机。备份、日志分析、图片处理这三类完全可以在别处跑,或者用对象存储直传绕开本机。

反过来,不建议在小机上做 raid0 或用 LVM 条带化来「提升 IOPS」:小机的瓶颈往往在链路与配额,条带化会增加故障面却没有对应收益,而且一旦一块盘坏,数据全没了。个人站的磁盘策略应该是「简单、可恢复」,不是「快」。这类取舍我在备份那篇里详细算过账,结论是一样的。

九、小结:一条判据记住整套流程

整套方法可以压缩成一句话:load 高而 CPU 闲、命令慢,先看 iostat 的 await 与队列,再落到 /proc 找进程,最后查是不是换页或写放大。这条判据覆盖了我遇到过的全部四类故障。

真正决定效率的不是命令记得多,而是顺序不乱:先分类(第二节四种组合)、再看设备(第三节)、再落到进程(第四节)、再对号入座(第五节四类真凶)、最后才动配置。看起来多几步,实际上省掉的是「凭直觉猜一个方向、改一晚上没用」的那种浪费。小机运维没有奇迹,只有把观测做在前面,让每一次卡顿都有据可查。

Last modification:November 21st, 2026 at 01:24 pm

Leave a Comment