一、先看清这几个数真正在算什么
监控面板上 Linux 的 load average 有三个数字,分别是一分钟、五分钟、十五分钟的平均值。绝大多数人把它当「负载百分比」看,看到 4.0 就以为「CPU 用爆了」——但在一台 2 核机器上 load 4.0 和在一台 16 核机器上 load 4.0,含义完全不同。load 的单位不是百分比,而是「平均处于可运行状态(R)和不可中断等待状态(D)的进程数」。一句话概括:有两个进程在排队等 CPU,load 就是 2.0;有两个进程卡在等磁盘 IO 的不可中断睡眠里,load 同样也是 2.0。
这个定义解释了很多人的困惑:机器 CPU 空闲 90%、load 却显示 15,网上最常见的答案是「IO 有问题」,但要说清是哪一种 IO、怎么证明,需要再看三个数:vmstat 的 r 列和 b 列、top 里 D 状态进程的数量、以及 /proc/pressure/io(内核 4.20 之后提供的 PSI 压力指标)。这三样东西组合起来,才能把「load 高」拆成「真缺 CPU」「真等 IO」「被僵尸或者挂起任务骗了」三类,处理方式完全不同。
这篇文章按这个顺序走:先讲 load 的分子和分母,再讲三个能自证的观测量,然后是四类典型成因各自的判断依据与处理办法,最后讲针对小站点该怎么设阈值,而不是照搬「超过核数就告警」这种粗糙规则。
二、分子和分母:核数、D 状态与不可中断的真实含义
load 的分母你以为是核数,其实不是。内核算 load 时不除任何东西,它只是统计一段时间内的可运行任务数与不可中断任务数,然后做指数衰减平均。所以判断「高不高」必须自己除核数:nproc 给出逻辑核数,注意容器里 nproc 有时会返回宿主机的核数(取决于 cgroup 配额与 lxcfs 是否挂载),这时要用 cat /sys/fs/cgroup/cpu.max 看真正分给你的配额,2 核配额 100000/100000 的写法表示「每秒 1 个 CPU 时间」。
# 逻辑核数与真实配额
nproc
cat /sys/fs/cgroup/cpu.max 2>/dev/null # cgroup v2
cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us 2>/dev/null # cgroup v1
# load 与运行队列
cat /proc/loadavg
vmstat 1 5 # 关注 r(可运行)与 b(不可中断)
vmstat 输出的 r 列是当前可运行进程数(含正在运行的),b 列是阻塞在 IO 上的进程数。如果 load 高但 r 一直是 0~1、b 是 8,那就是纯 IO 等待,加 CPU 一点用都没有。反过来如果 r 长期大于核数而 b 是 0,才是真缺 CPU。这个两列对照是判断 load 归因的第一道分叉,比看 top 里的 CPU 百分比准得多,因为 top 的 CPU% 是采样区间的,短时尖峰会被平均掉。
再补一个容易忽略的点:D 状态是「不可中断睡眠」,这里的关键词是不可中断。进程在等磁盘 IO、等 NFS、等某些内核锁时都会进入 D 状态,而且 kill -9 对它无效——信号要等系统调用返回才会被处理。所以看到一个 D 状态进程卡了半小时,不要反复 kill,要看它卡在哪个系统调用上。
三、拆第一类:真缺 CPU 的三个证据
真缺 CPU 的特征很稳定,三个证据同时出现才算成立。第一,vmstat 的 r 列持续大于核数。第二,us + sy 加起来接近 100% 而 id 接近 0。第三,mpstat -P ALL 1 里各核的 %usr 分布比较均匀,不是只有一核满。
# 每核的细分占用
mpstat -P ALL 1 3
# 按 CPU 排序的进程(-b 批处理,避免刷新覆盖)
top -b -n 1 -o %CPU | head -20
# 谁在吃 CPU:按线程看
ps -eLo pid,tid,pcpu,comm --sort=-pcpu | head -15
如果 mpstat 显示只有一个核接近 100% 而其他核很闲,那通常不是「CPU 不够」,而是程序本身是单线程的(PHP 单请求、Python 无多进程、老式 Java 配置)。这时候加核没用,要改成多进程或多实例——这是最花钱的误判:从 2 核升级到 4 核,负载曲线一点没变。
另一个高频混淆是 sy(system)偏高。如果 sy 达到 30% 以上而 us 不高,说明时间花在内核态,通常对应大量系统调用(频繁 read/write 小文件、海量 stat、大量短连接),而不是计算。这时 perf top 或 strace -c -p PID 能直接看出是哪个系统调用在刷屏。常见场景是 PHP 的 file_exists 大量调用、或者程序在 4KB 小块读写。
处理顺序也值得说清:先降「无谓的 CPU 消耗」(去掉重复计算的循环、加缓存),再考虑「并行化」,最后才是「加核」。前两步通常能省下 50% 以上,加核一分钱都不省。
四、拆第二类:IO 等待与 D 状态的四个判据
这一类是「CPU 空闲但 load 高」的主因,对数据库和文件相关的站点尤其常见。判据有四个,从便宜到贵依次看:
# 1. 磁盘利用率与等待队列(%util 接近 100 说明盘饱和)
iostat -xz 1 3
# 2. 谁在产生 IO:按进程统计
iotop -oPa -d 2 -n 3
# 3. 内存回收引起的读盘(si/so 非 0 说明在换页)
vmstat 1 5 # 看 si / so / bi / bo 四列
# 4. D 状态进程卡在哪个调用
for p in $(ps -eo pid,stat | awk '$2 ~ /^D/ {print $1}'); do
echo "== $p $(cat /proc/$p/comm 2>/dev/null)"
cat /proc/$p/stack 2>/dev/null | head -5
cat /proc/$p/wchan 2>/dev/null; echo
done
iostat -xz 里要看的不是 %util 一个数,还有 r_await / w_await(平均响应毫秒数)和 aqu-sz(平均队列长度)。云盘上 %util 常常看起来只有 40% 但 w_await 已经 60ms,这是因为云盘的 IOPS 上限是外部限的,本机看到的利用率不代表真实压力。所以判据要优先看 await:机械盘正常在 5~15ms,SSD 在 0.5~2ms,云 SSD 在 1~5ms;超过基线三倍就该怀疑了。
第二个判据 vmstat 的 si/so:只要这两个值持续非零,说明内存不足在换页,问题根源是内存不是磁盘。si 是每秒从 swap 读入的 KB 数,so 是写出。这种情况下 load 高只是表象,看 free -m 的 available 列和 /proc/meminfo 的 Dirty 值(写回队列)更直接。
第三个判据是 Dirty 页堆积。Linux 会先把写操作放进 page cache,再异步刷到磁盘。如果写入速度快过刷盘速度,Dirty 会一直涨,到阈值(默认 vm.dirty_ratio 20%)时所有写操作都会变成同步等待,这就是所谓的「IO 抖动」。用 grep -E 'Dirty|Writeback' /proc/meminfo 观察,Dirty 超过总内存 10% 且不下降,就应降低 vm.dirty_ratio 或 vm.dirty_background_ratio 让它更早开始刷。这个调整对频繁写日志的站点效果明显。
第四个判据是 /proc/PID/stack(需要 root):它给出内核栈的顶部几帧,常见的有 blk_mq(块设备队列)、nfs_wait、jbd2_log_wait_commit(ext4 日志提交)。看到 jbd2 就说明是文件系统日志在等,通常与大量同步写有关;看到 nfs 相关,那就要查网络挂载了。这几行字比任何猜测都硬。
五、拆第三类:内存压力与 swap 抖动
swap 在服务器上的作用被严重误解。它不是「备用内存」,而是「内存不足时的最后手段」,代价是毫秒级的延迟乘以页数。一台 4G 机器上 MySQL buffer pool 配了 2G、PHP-FPM 又开了 40 个子进程各占 40MB、再加上系统本身,就基本见底了。这时如果 vm.swappiness 还是默认的 60,内核会积极地换出匿名页,主循环就变成「换出 → 再访问 → 换入」,load 直线上升。
# 每个进程的 swap 占用(按大小倒序)
for f in /proc/[0-9]*/status; do
awk '/^Name:/{n=$2} /^VmSwap:/{if($2>0) print $2, n}' "$f"
done | sort -rn | head -10
# 内存与 swap 概况
free -m
cat /proc/pressure/memory 2>/dev/null
第一段脚本几乎是排查 swap 抖动最有效的一招:它按进程列出谁占用了 swap。top 默认按 RSS 排序,会完全掩盖这一点——一个进程 RSS 只有 20MB 但 swap 占了 500MB,top 上根本看不出来,它每次被调度都在触发缺页中断。
/proc/pressure/memory 输出形如 some avg10=12.34 total=...,avg10 就是过去 10 秒里「至少有一个任务因内存不足而停顿」的时间占比。这个数超过 5 就说明内存已经开始影响响应时间,比看 free 的可用内存更贴近真实体验。
处理顺序上,先做「减」再做「调」:找出最大占用者减少它的预算(PHP-FPM 的 pm.max_children、MySQL 的 innodb_buffer_pool_size),最后才动 swappiness。把 swappiness 设为 10 只能减少换出倾向,不会凭空变出内存。对于真的内存不足的机器,加 1G 内存往往比调十个参数都有效。
六、拆第四类:被「假进程」骗到的那几种情况
还有两类情况,load 高但你找不到任何吃资源的进程。
第一类是僵尸进程(Z 状态)。它们已经退出、只剩一行进程表条目,本身不占 CPU,但会算进「任务数」的统计里。几百个僵尸体说明父进程没在 wait() 回收子进程,典型原因是 PHP 或 Python 程序用 system() 大量起外部命令、或者容器里 PID 1 是个不处理信号的 shell。判据:ps -eo stat,pid,ppid,comm | awk '$1 ~ /^Z/',看它们的 PPID 是否同一个。修法是让父进程正确回收,而不是杀僵尸——僵尸不能被杀,只能等父进程回收。
第二类是网络文件系统或挂载点卡死。NFS、CIFS、FUSE 挂载(比如 rclone 挂的对象存储、OSS 挂载)在远端无响应时,所有访问该挂载点的进程都会进 D 状态,而且这个 D 状态可以持续几分钟到几十分钟,期间 kill -9 完全无效。判据是 mount | grep -E 'nfs|cifs|fuse' 看有没有远端挂载,然后看这些 D 进程的 /proc/PID/wchan 是不是出现 rpc_wait、nfs_ 之类。stat /mnt/xxx 卡住不返回,基本可以确认。这种故障没有任何「修好」的办法,只有先 umount -f -l 强制卸载或者重启挂载服务。
还有一类容易被忽略:跑在容器里的任务。容器的 /proc/loadavg 默认显示的是宿主机的 load,所以你会看到「我这个只有 1 核的容器 load 怎么 8 了」——其实是隔壁邻居把宿主机压满了。要区分只能看 cgroup 的 cpu.stat:nr_throttled 与 throttled_usec 非零说明你的配额被打满;两个都是零而 load 又高,那就是宿主机的负载,你能做的只有搬家或者加配额。
# 容器内区分自己的压力与宿主机的压力
cat /sys/fs/cgroup/cpu.stat 2>/dev/null
cat /sys/fs/cgroup/cpu/cpu.stat 2>/dev/null
七、阈值怎么设:三个能直接用的数字
不要用「load 超过核数就告警」。这个规则对 1 核机器太敏感、对 16 核机器太迟钝,而且完全不区分 IO 等待。更实际的做法是设三级阈值,并且和观测量绑在一起:
第一级,load1 / nproc > 1 持续 5 分钟 → 通知,不告警。这是一次「有排队但还没耽误事」的信号,值得看一眼曲线。第二级,load1 / nproc > 2 持续 5 分钟,并且 vmstat 的 r 列同时大于核数 → 告警,说明确实有任务在排队等 CPU,这时响应时间一定会上升。第三级,load5 在下降而 load1 在上升且持续时间超过 10 分钟 → 告警,这是「正在恶化」的形态,比绝对数值更能说明问题。
更推荐的一种做法是根本不用 load 做主指标。用 curl -o /dev/null -s -w '%{time_total}' 每 30 秒打一次首页,把这个时间序列作为主告警指标,load 只作为辅助信息展示。原因简单:老板和读者关心的是「网站打开快不快」,不是「排队进程几个」。一个 load 20 但首页 200ms 的机器远比 load 2 但首页 3 秒的机器健康,前者多半在跑批处理,后者才是真的出了问题。
对个人站长的单机来说,最有价值的三条指标是:首页 TTFB 的 P95、磁盘 await 的 P95、可用内存的低水位。load 放在首页上给大家看个热闹就行,不用为它半夜爬起来。
八、小结与复用清单
把以上的判断次序整理成一张可以贴在显示器边的清单:
第一步,cat /proc/loadavg 加 nproc 换成比值。第二步,vmstat 1 5 看 r 与 b,分流到 CPU 侧还是 IO 侧。第三步,CPU 侧看 mpstat -P ALL 是否单核满;IO 侧看 iostat -xz 的 await 与 aqu-sz。第四步,si/so 非零就去查 swap,按进程的 VmSwap 排序找元凶。第五步,D 状态进程看 /proc/PID/wchan 与 stack,分到磁盘、NFS 还是内核锁。第六步,查僵尸进程与容器 cgroup 配额,排除「假高负载」。
这六步都不需要装任何额外的监控软件,最差也需要 sysstat 包(iostat、mpstat 的来源)。建议在每台机器上预先装好,等出事再 apt install 往往会因为这机器忙到装不上而白等。这个做法本身也算一种运维经验:排障工具要在健康时装好,和灭火器一样。
最后一个判断:如果你发现自己每周都要为 load 告警排查一次,那问题不在监控阈值,而在任务调度。批处理任务、备份、图片处理、爬虫抓取这些重活应该错峰排开,别都挤在凌晨 3 点。把时间表划清之后,load 曲线会自然地从「每晚一次尖峰」变成「全天平稳」,这比任何参数调优都有用。