1G 小机上 Docker 把磁盘吃满:日志限额、构建缓存与「prune 完 df 没变」的四类静默垃圾

每年双十一前后,后台总有几个站长得问同一个问题:磁盘怎么又满了?而在我经手的十来台小机器里,最常见的元凶不是网站文件、不是数据库,而是 Docker。更准确地说,是 Docker 在没人管的情况下自己长出来的四类垃圾:容器日志、构建缓存、悬空镜像和卷。它们有一个共同特点——不会报错、不会告警,只会在某个凌晨把 / 撑爆,然后 MySQL 写不进去、Nginx 返回 500,你在睡梦中被监控短信叫醒。

这篇文章我把一台 1 核 1G 的 Debian 12 小机从「磁盘 92% 用到 100%」处理到「稳定在 40% 左右」的全过程记下来,重点是那些网上抄不到、只有真在线上跑过才知道的细节:为什么 docker system prune 跑完之后 df 一点没变、为什么日志限额配了却不生效、为什么 rm 掉的大日志文件空间还是没还回来。

先用三张表搞清楚空间到底去哪儿了

不要一上来就 prune。prune 是有破坏性的操作,删掉的镜像和缓存要重新拉、重新构建,在带宽小的小机器上可能要半小时。先花五分钟把账算清楚。

# 第一张表:文件系统层面
df -h
df -i          # 别忘了 inode,小文件多的时候 inode 先满

# 第二张表:Docker 自己认的账
docker system df
docker system df -v   # 细分到每个镜像、容器、卷

# 第三张表:Docker 目录的真实占用
du -xh --max-depth=1 /var/lib/docker 2>/dev/null | sort -h

这三张表经常对不上,而对不上的地方恰恰就是线索所在。我遇到最多的三种情况:

  1. df 显示用了 18G,docker system df 加起来只有 4G —— 说明有大量空间被「已删除但仍被进程占用」的文件吞了,或者压根不在 Docker 目录里。
  2. du /var/lib/docker 只有 5G,但 df 少了 20G —— 典型的文件句柄未释放(deleted 但仍 open),用 lsof +L1 定位。
  3. docker system df 里 RECLAIMABLE 很小,但 Build Cache 那一行莫名其妙几个 G —— 构建缓存不归镜像管,prune 不加 --all 也不一定清得干净。

第一号杀手:JSON 日志文件,而且 prune 管不到

Docker 默认的日志驱动是 json-file,默认 max-size 是「不限制」。也就是说,只要容器里的程序一直往 stdout 写,那个文件就会一直长。PHP-FPM 的 access log、某个定时任务打印的调试信息、一个陷入重启循环的容器每秒打印的报错——都会原封不动落到 /var/lib/docker/containers/<容器ID>/<容器ID>-json.log。

我这次那台机器上,一个跑着定时采集脚本的容器,日志文件长到了 9.3G,占满了整个系统盘。而 docker system df 里根本看不到这一项——它算在容器本地卷(Local Volumes)之外,属于容器可写层的一部分,只要容器还在运行,就永远是「不可回收」。

# 揪出最大的日志文件
du -sh /var/lib/docker/containers/*/*-json.log | sort -h | tail -10

千万不要直接 rm

这是最坑人的一步。很多人看到大文件,第一反应是 rm。删完之后 du 显示文件没了、df 却一点没变。原因很简单:Docker daemon 还持有这个文件的文件描述符,内核认为 inode 仍在使用,磁盘块不会释放,直到那个句柄被关闭(也就是容器重启)。

如果你只是想立刻把空间还回来,正确做法是 truncate,它保留同一个 inode,只是把文件长度置零,daemon 可以继续往里写:

truncate -s 0 /var/lib/docker/containers/<容器ID>/<容器ID>-json.log
df -h /   # 这次应该能看到空间立刻回来

但这是止血,不是治病。日志会以同样的速度重新长回来。

配日志轮转,以及「配了没生效」的原因

# /etc/docker/daemon.json
{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "20m",
    "max-file": "3"
  },
  "data-root": "/var/lib/docker"
}
systemctl restart docker

然后重点来了:这些参数只对「重启之后新建的容器」生效,已经在跑的容器仍然沿用创建时的日志配置。这就是无数人「明明配了 max-size,日志还是一直涨」的原因。验证方式:

docker inspect -f '{{.Name}} {{.HostConfig.LogConfig.Type}} {{.HostConfig.LogConfig.Config}}' $(docker ps -q)

如果输出的 Config 是空的 map[],说明这个容器创建时还没有限额,必须重建。用 compose 的项目执行:

docker compose up -d --force-recreate

注意 --force-recreate 会重建容器,如果数据没有挂在卷里而是写在容器内,就会丢。重建之前先确认 docker inspect 里的 Mounts,或者干脆把 compose 里的 volumes: 补齐再动。我一般更倾向于在 compose 文件里给每个服务单独写 logging: 段,这样这份配置跟着代码走,换机器也不会忘:

services:
  app:
    image: nginx:1.25-alpine
    logging:
      driver: json-file
      options:
        max-size: "20m"
        max-file: "3"

一个 JSON 写错的坑

daemon.json 写错一个逗号,Docker 会直接起不来。而且它不是报错退出,是 systemctl restart docker 之后服务一直 failed,日志里写着 unable to configure the Docker daemon with file /etc/docker/daemon.json: invalid character。改之前先校验:

python3 -m json.tool /etc/docker/daemon.json > /dev/null && echo OK

第二号杀手:构建缓存,比镜像还占地方

如果你在这台机器上 docker build 过几次(尤其是 Node、Python 项目),BuildKit 会缓存每一层。docker system df 里 Build Cache 那一行经常比 Images 加起来还大。我见过一台机器上 Build Cache 占了 14G,而实际镜像只有 2G。

先看清楚:

docker system df
docker buildx du

docker system df 里的 SIZE 是「总量」,RECLAIMABLE 是「可回收」。判断阈值要看 docker buildx du 里的 Private,不是 SIZE——这是很多人配了上限「没反应」的原因:你想限 10G,总量 12G 但 Private 只有 8G,于是 GC 判断没超阈值,什么也不做。

清理方式:

# 常规清理:停止的容器、悬空镜像、未使用的网络、构建缓存
docker system prune

# 更彻底:连未被任何容器使用的镜像一起清掉(小心,下次要重新拉)
docker system prune -a

# 只清构建缓存,加时间过滤
docker builder prune --filter until=168h

不建议把 docker system prune -a 塞进 cron 每天跑。小机器带宽有限,把常用基础镜像删掉之后,第二天构建时又要从远端拉一两个小时,反而影响发布。我的做法是:日志靠 daemon.json 限额(一劳永逸),构建缓存用 docker builder prune --filter until=168h 每周跑一次——保留一周内的缓存,既省空间又不至于每次都全量重建。

第三号杀手:悬空镜像与 tag 堆积

每次 docker compose build 都会生成新镜像,旧的镜像变成 <none>:<none>(悬空镜像)。悬空镜像 docker system prune 会清。但还有一种更隐蔽的:你手动 tag 过的镜像,比如每次发布打 app:v1、app:v2、app:v3,它们都有名字,prune 默认不删。

# 看悬空镜像
docker images -f dangling=true

# 只留最近 3 个 tag,其余的删(示例,先 dry-run 看清楚)
docker images 'app' --format '{{.Tag}} {{.ID}}' | sort -rV | tail -n +4

顺便提一句 inode。我曾遇到 df -h 还有 8G 空闲,df -i 已经 100%,新文件一个都建不出来。原因是某个应用在容器里写了上百万个小文件——这种时候删大镜像没用,得靠 docker image prune -a 配合在 du --inodes 定位。inode 用尽的报错形式通常是 No space left on device,但 df -h 看起来空空荡荡,非常迷惑人。

第四号杀手:卷,那个删错了要命的东西

docker system prune 默认不碰卷,只在你加 --volumes 时才会清理「匿名卷」(没有名字的、由 VOLUME 指令隐式创建的)。Docker Engine 23.0 之后语义有变化,--volumes 只针对匿名卷,命名卷要靠 docker volume prune -a 或 docker compose down -v。

这里面藏着最大的风险:MySQL、Redis 的数据卷往往是命名卷。一条 docker compose down -v 就能把数据库连数据一起删掉,而且没有回收站。我第一次踩这个坑是在一台测试机上,以为是测试数据无所谓,结果那台机器上有老板让我保存的半个季度的统计快照。

所以清理卷之前,务必先列出来看清楚哪些有容器在用:

docker volume ls
docker system df -v | sed -n '/VOLUME NAME/,/^$/p'

LINKS 那一列是 0 的才是「没有任何容器在用」。但即便是 0 也别急着删——停掉的容器不算 link,可能只是暂时停机,一删数据就没了。我的原则是:卷只手动清,绝不进 cron;清之前先做一次 docker run --rm -v 卷名:/data -v $PWD:/backup alpine tar czf /backup/xxx.tgz -C /data . 备份到宿主机。

一套可直接照抄的日常维护方案

把上面的东西固化成三件事,之后基本不用再操心:

  1. daemon.json 限额 + 重建所有容器。一次性动作,做完日志就不再失控。
  2. 每周一次构建缓存清理。cron 里放 docker builder prune -f --filter until=168h,只清一周前的,不影响日常发布。
  3. 每天一条磁盘告警,阈值设 80%,不要等到 95% 才报——小机器上从 80% 到 100% 可能只要几个小时。
# /etc/cron.d/docker-gc
0 4 * * 0 root /usr/bin/docker builder prune -f --filter until=168h >/var/log/docker-gc.log 2>&1
30 4 * * 0 root /usr/bin/docker image prune -f >>/var/log/docker-gc.log 2>&1

磁盘告警可以简单到一行 shell:

USE=$(df --output=pcent / | tr -dc '0-9')
[ "$USE" -gt 80 ] && echo "根分区已用 ${USE}%" | mail -s "磁盘告警" you@example.com

最后:清理完磁盘还是满的两种怪情况

这两种情况我在帮别人处理时至少各遇到三次,值得单独说。

情况一:文件已删除但空间没回来。 用 lsof +L1 或 lsof | grep deleted 找到持有句柄的进程,重启那个进程即可(对 Docker 就是重启对应容器或 systemctl restart docker)。

情况二:写满了之后删了文件,MySQL 却报错。 InnoDB 在磁盘满时会进入只读状态并拒绝写入,即使空间已经恢复,它也不会自己退出这个状态。必须重启 MySQL 服务。这个坑之所以值得写,是因为报错信息通常只说 Disk full,而这时磁盘明明已经空了,很多人会去查权限、查表损坏,绕一大圈。

Docker 让部署变简单了,代价是把「一台机器上到底存了什么」这件事藏起来了。小机器上,这种隐藏特别致命——它不是慢慢变卡,而是某一天突然全线不可用。花一个小时把日志限额和清理 cron 配好,是这几年来我觉得性价比最高的运维动作之一。

Last modification:November 21st, 2026 at 08:23 pm

Leave a Comment