df 说满、du 说没用那么多:磁盘用量对不上的四种真凶与三步对账

站点访问量上来之后,最先暴露问题的往往不是数据库,而是"磁盘空间去哪了"。我在自己的机器上就遇到过三次很典型的情况:一次是 /var 只剩 2G,一次是 inode 耗尽但字节数还宽裕,还有一次最离谱——删了 3G 日志,df 一点没变。

前两次都能靠 du 找出来,第三次让我浪费了一个晚上。后来我把这套流程固化下来,成了一串固定顺序的命令,从"总量对账"到"落到具体文件",通常十五分钟内能定位。这篇把这几条命令和它们各自的盲区写清楚。

一、第一步永远是三个数字一起看

很多人一上来就 du -sh /*,然后盯着输出发呆。正确的起点是先确认三个数:字节使用率、inode 使用率、以及被删除但仍被占用的空间。

df -h
df -i
find / -xdev -type f -deleted 2>/dev/null | head

第一条看字节,第二条看 inode。这两条必须同时看,因为"磁盘满了"有两种完全不同的故障:

  • 字节满:大日志、大备份、大附件。df -h 的 Use% 到 100,df -i 正常;
  • inode 满:海量小文件。典型是 PHP 的会话文件目录、缓存目录、邮件队列。df -i 的 IUse% 到 100,而 df -h 可能只有 40%。

inode 满的表现非常有欺骗性:新文件写不进去,报 No space left on device,但 df -h 明明还有空间。我第一次遇到时以为是文件系统坏了,跑了 fsck 一无所获。后来 df -i 一看,/var 的 inode 用了 100%。原因是一个每天生成快照的脚本,每篇文章生成了十几个缩略图小文件,一年下来堆了四十多万个。

第三条命令是 find 的 -deleted 谓词,它列出已被删除但仍有进程持有句柄的文件。这条命令在修复场景下比前两条更重要,具体原因见第五节。

二、du 的正确用法:先限定文件系统,再看一层

du -sh /* 有两个问题:一是会跨越挂载点,把 NFS、tmpfs、外挂盘一起算进来,数字对不上;二是遇到权限不足的目录会静默跳过,结果偏小。

推荐写法:

# 只统计根文件系统,深度为 1,按大小排序
du -xhd1 / 2>/dev/null | sort -hr | head -20

# 定位到具体目录后继续下钻
du -xhd1 /var/log 2>/dev/null | sort -hr | head -20

三个参数分别的作用:-x 不跨文件系统,-h 人类可读,-d1 只算一层。加上 2>/dev/null 屏蔽权限报错(用 root 跑就基本不会有),配合 sort -hr 才是真正有用的输出。

du 在大目录上很慢,因为它要遍历每一个文件。如果只是想知道"哪些目录大",用 ncdu 体验好得多:

apt install ncdu -y
ncdu -x /var

ncdu 会先扫一遍(跟 du 一样慢),但之后可以用方向键在目录树里来回走,不用重复扫描。对于"我要在十分钟内找到那个 5G 的目录"这种需求,它比反复敲 du 高效得多。老机器上装不了的话,用 du -xhd1 逐层下钻也能达到同样效果。

三、du 与 df 对不上时的四种可能

这是本篇的核心。当 df 说用了 20G,du / 加起来只有 15G,差额 5G 去哪了?四种原因,按出现频率排序:

原因一:被删除但仍被进程打开的文件(最常见)

Linux 的文件是"引用计数"的:只要还有进程持着句柄,rm 之后文件的数据块不会被释放,但目录项已经消失,所以 du 看不见它,df 却照样算。

典型场景:Nginx 的 access.log 被 rm 了但 master 进程没重载;PHP-FPM 写日志时把文件句柄一直开着;一个 Java 服务用了 log4j 自己切分日志,切完之后旧的没 close。三种都会造成"删了文件空间不回来"。

定位:

lsof +L1 2>/dev/null | head -20
lsof +L1 2>/dev/null | awk '{s+=$8} END {print s/1024/1024 " MB"}'

+L1 是"link count 小于 1"的意思,也就是已经被 unlink 的文件。第一列是进程名,第八列是大小(字节)。第二行把所有这类文件加起来,直接告诉你"有多少空间是被孤儿文件占着的"。

修复方式有两种,区别很大:

# 方式 A:让进程重新打开文件(推荐)
kill -USR1 $(cat /run/nginx.pid)      # Nginx 重开日志
systemctl reload nginx

# 方式 B:清空内容但不释放 inode
: > /proc/$(pidof php-fpm8.1)/fd/7

方式 A 是标准做法,Nginx、Apache 都支持用信号重开日志。方式 B 更暴力,直接往 /proc/pid/fd/N 写空,文件立刻变成 0 字节,空间马上回来。但它要求你能看到那个 fd 编号,而且对某些进程(比如 mmap 了文件的)不一定生效。

原因二:被挂载点遮盖的目录

如果 /mnt/data 是一个挂载点,而挂载之前那个目录里本来有数据,数据会被"盖住"。du 遍历到那个路径时看到的是挂载后的文件系统,盖住的那些数据算不进任何地方,df 却把它算在根分区里。

排查:把可疑的挂载点 umount 之后再看 du。或者用 findmnt --verify 看有没有异常。这种情况在"先下载了大文件到目录,然后 mount 上去"的操作之后特别常见。

原因三:文件系统元数据与预留块

ext4 默认给 root 保留 5% 的空间(tune2fs -m 5),这部分对普通进程不可见,du 也不会算。df 的 "Size" 与 "Used+Avail" 之差里就包含了它。一块 100G 的盘,5% 就是 5G,正好能解释很多"说不清的小差额"。

要看真实数字:tune2fs -l /dev/vda1 | grep -i reserved,或者直接 dumpe2fs -h /dev/vda1。生产环境如果不是系统盘,把保留比例调小到 1%~2% 是合理的;系统盘建议留着,它是磁盘写满时 root 还能登录救命的最后保障。

原因四:快照与文件系统自身开销

如果你在云上,宿主机侧的磁盘快照可能被算进用量;如果用了 LVM 快照,COW 空间会随写入增长;btrfs 与 ZFS 的元数据、CoW 空洞也会让 du/df 出现偏差。这类情况看 lvs、btrfs filesystem usage、zpool list -v。

四、按目录类型快速定位

知道总量之后,大多数情况下答案落在下面五个地方。我按"一年内遇到的次数"排了序:

  • /var/log:journald 持久化日志、Nginx access.log、应用日志。先看 journalctl --disk-usage;
  • /var/lib/docker:镜像、容器可写层、构建缓存。用 docker system df -v 而不要用 du 直接扫,du 会把 overlay2 重复计算;
  • /var/lib/mysql:binlog 是高发项。见下一节;
  • /www/wwwroot/*/runtime:框架的缓存与日志,ThinkPHP 与 Laravel 都爱把文件堆在这里;
  • /var/spool:邮件队列、cron 输出、打印队列。被投递失败的邮件会以每封一个文件的形式堆积,很容易把 inode 吃光。

五个目录里,前三个占了九成。先把它们过一遍,通常就够了。

五、MySQL 的 binlog 是最容易被忽略的大户

一台跑着 MySQL 的机器,磁盘半年涨满,原因往往是 binlog。默认情况下 MySQL 8.0 会开启 binlog 且 expire_logs_days 已在 8.0.3 之后被弃用,改用 binlog_expire_logs_seconds,默认值是 30 天。一个写入频繁的站,一天几 G 是很正常的。

mysql -uroot -p -e "SHOW BINARY LOGS;" | tail -5
mysql -uroot -p -e "SELECT @@binlog_expire_logs_seconds/86400 AS days;"
du -sh /var/lib/mysql/*bin* 2>/dev/null | tail

如果确认是 binlog 堆积,先确认有没有从库在用它做主从同步,再决定保留天数。单机且不做时间点恢复的话,留 3~7 天足矣:

SET GLOBAL binlog_expire_logs_seconds = 604800;   -- 7 天,立即生效且持久

别用 PURGE BINARY LOGS TO 'xxx' 手工删到最新那个——如果从库还没同步过来,主从立刻断掉,而且是那种"从库报 1236 错误、要重新搭一遍"的断法。

顺带一提慢日志:slow_query_log_file 如果没有配轮转,一年下来也能占几个 G。这个文件的增长很慢,容易被忽略。建议单独配一条 logrotate,或者直接改成写入表。

六、真正该做的是防止再发生

定位只是救火。每次救完火,我都至少补一样东西,否则一个月后同样的事会再来一遍。下面这几条按投入产出比排序:

给每个大户配限额

# journald:限制持久化日志总量
mkdir -p /etc/systemd/journald.conf.d
printf '[Journal]\nSystemMaxUse=500M\nSystemMaxFileSize=50M\n' > /etc/systemd/journald.conf.d/size.conf
systemctl restart systemd-journald

Nginx 日志用 logrotate 配 rotate 14 + daily + compress,并且 postrotate 里一定要有 kill -USR1。Docker 用 /etc/docker/daemon.json 里的 log-opts 限制单容器日志,但要注意它只对新建容器生效,老容器必须重建。

加一条 80% 告警

别等 100% 再处理。磁盘满的时候,SSH 可能登不上(因为登录要写 /var/log/wtmp)、MySQL 会拒绝写入、Nginx 缓存目录写不了会 502。80% 的这一条告警,给自己留了几小时的余量。

#!/bin/sh
# /usr/local/bin/diskcheck.sh
TH=80
for m in $(df -P -x tmpfs -x devtmpfs | awk 'NR>1 {print $6}'); do
  u=$(df -P "$m" | awk 'NR==2 {gsub("%","");print $5}')
  [ "$u" -ge "$TH" ] && echo "DISK $m ${u}%"
done
df -Pi -x tmpfs -x devtmpfs | awk 'NR>1 && $5+0>=90 {print "INODE", $6, $5}'

这个脚本同时检查字节与 inode,把输出丢给监控或者每天一封邮件。它跑起来不到一秒,比任何第三方监控都轻。

把"删了没释放"变成自动发现

S=$(lsof +L1 2>/dev/null | awk 'NR>1 {s+=$8} END {printf "%d", s/1024/1024}')
[ "$S" -gt 512 ] && echo "ORPHAN ${S}MB held by processes"

超过 512MB 就报,能提前发现"某个进程死撑着旧日志不放"的状态,而不是等磁盘满。

七、小结

这套流程的核心是"三个数字一起看":df -h 看字节、df -i 看 inode、lsof +L1 看孤儿文件。三个数字任何一个异常,方向就立刻确定了,不用再猜。

然后才是 du -xhd1 逐层下钻,注意一定要带 -x,否则跨挂载点算出来的数字对不上,会让你怀疑命令本身。

最后一步是把这次的处置方式补成一个"以后再也不会发生"的配置:限额、告警、自动发现。只做前面的定位不做后面的加固,等于每两个月重复一次同样的晚上。

Last modification:November 21st, 2026 at 10:28 pm

Leave a Comment