/var/lib/docker 悄悄长了 20G:五类占用、先打印再删除的清理脚本

那天是周三下午,监控告警说磁盘使用率到 91%。上去看,df -h 显示根分区 40G 用了 37G。按平时的套路跑 du -sh /var/*,最大的目录是 /var/lib/docker,22G。我第一反应是容器日志又撑满了,但查下去不对:日志加起来才 1.8G,剩下的 20G 全是「看不见的东西」——悬空镜像、停止容器的可写层、构建缓存层、以及一堆没人用的数据卷。

清理 Docker 占用的空间,表面上是背几条 prune 命令,实际上有一个必须先想清楚的问题:这台机器上的哪些东西是可以删的,哪些删了就回不来。这篇文章讲的是我怎么把这件事从「每隔几个月救一次火」变成「每周自动跑、不会误删」的过程。

一、先搞清楚 Docker 的磁盘到底被什么占了

Docker 的磁盘占用分成五类,docker system df 一直能看到前四类的汇总:

镜像(Images)。包括正在用的、以及因为重新构建而失去 tag 的「悬空镜像」。后者是最大的隐性占用——每次改代码重新构建,旧镜像就变成 :,但它占的空间一分不少。一个 400MB 的基础镜像,重建三十次就是 12G。

容器(Containers)。停止的容器还保留着可写层。如果容器在运行中往里面写了大量临时文件,停止之后这层依然占着空间。

数据卷(Volumes)。这是最危险的一类,也是最常被忽略的。docker system df 默认显示的这一项,往往等于你所有数据库的数据加起来的体积。

构建缓存(Build Cache)。BuildKit 引入的新概念,每一层构建的中间结果都被缓存下来。这个机制让重建变快,但缓存会无限增长,而且默认没有上限。

第五类是日志。docker system df 里看不到,它在 /var/lib/docker/containers//-json.log,一个没有配置轮转的容器日志可以长到几十 GB。这是我第一次踩的坑,也是我觉得最应该先处理的一项。

二、第一步永远是查日志,不是跑 prune

很多人上来就 docker system prune -a,把镜像全删了,结果下次构建要从头拉基础镜像,而且如果哪个容器正在用某个镜像,Docker 会拒绝删除或者导致重启时找不到镜像。更糟的是,有些人的操作是 prune --volumes,把数据库卷当垃圾删了。

先查日志。定位日志文件大小的命令:

# 列出所有容器日志文件,按体积排序
du -sh /var/lib/docker/containers/*/*-json.log | sort -rh | head -20

如果发现某几个特别大,先看是哪个容器:把路径里的容器 ID 前 12 位拿去 docker ps -a --no-trunc --format '{{.ID}} {{.Names}}' 里匹配。确认之后,有两种处理方式。

治标:截断当前日志。注意不要用 rm 删文件——容器进程还持有这个文件句柄,删了空间不释放,这跟 Linux 里删掉正在被写入的日志文件是同一个道理。正确的做法是截断:

truncate -s 0 /var/lib/docker/containers//-json.log

治本:配置轮转。在 /etc/docker/daemon.json 里加:

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "50m",
    "max-file": "3"
  }
}

然后 systemctl restart docker。这里有个重要限制:这个配置只对之后新创建的容器生效,已经在跑的容器不会改变。要让老容器生效,得删掉重建。所以先确认这个容器能不能安全重建,不能的话就先用截断撑着。

50m × 3 是我给一般业务容器的配置。如果你的容器日志里全是访问日志,一天几 GB,那更该做的是不分发到 stdout,而是让应用自己写文件再交给 logrotate 管——容器日志机制本来就不适合当访问日志的存储。

三、区分「可以删」和「绝对不删」

在跑任何清理命令之前,我会先在纸上(或者脚本注释里)把三类东西列清楚。

可以删的:没有被任何容器引用的悬空镜像;停止超过一定时间的容器;没有被任何容器挂载的数据卷(但要非常小心地确认);构建缓存;/var/lib/docker/tmp 下的残留。

需要确认的:打上了 tag 但似乎没在用的镜像——它可能是你下次回滚的目标。我习惯保留最近三到五个版本的镜像,滚动删除更早的。停止的容器也一样,可能是有意保留的一个快照。

绝对不删的:正在运行的容器引用的卷;数据库容器的数据卷;有 --restart=always 但当前恰好停止的容器(它可能只是在等待重启);任何你不确定用途的卷。

关于卷的判断,有一个我常用的方法:先看哪些卷是「悬挂」的(dangling),也就是没有容器引用:

docker volume ls -qf dangling=true

但「悬挂」只说明当前没有容器挂载它,不代表它是垃圾。有一个很常见的场景:你用 docker compose down 停掉了一个服务,它的具名卷就变成悬挂状态,但里面是数据库数据。等你下次 up 起来,数据还要用。

所以我的规则是:只清理带特定前缀、并且确认属于一次性任务的卷,用 label 来标识。给需要保留的卷打上标记:

docker volume create --label keep=true db_data

清理时排除带 keep 标签的:

for v in $(docker volume ls -qf dangling=true); do
  keep=$(docker volume inspect -f '{{index .Labels "keep"}}' "$v" 2>/dev/null)
  if [ "$keep" != "true" ]; then
    echo "would remove $v"
  fi
done

先把 docker volume rm 那一步写成 echo,确认输出里没有你的数据库卷,再改成真删。这个「先打印再执行」的步骤我用在每一次批量删除上,省过至少两次事故。

四、构建缓存:最容易被忽略的一类

这一类的特点是增长快、看不见、而且删了不影响运行——只会让下次构建变慢一点。查看占用:

docker system df -v

输出里会单列 build cache 的明细。清理命令:

# 只清理未被使用的
docker builder prune -f

# 清理所有,包括正在被引用的
docker builder prune -af

# 只保留最近 7 天的
docker builder prune -f --filter until=168h

我这里用的是第三种:保留 7 天。理由是大部分项目一周内会重建,保留一周的缓存既能省构建时间,又能挡住无限增长。如果你的构建节点空间紧张,可以改成 72 小时甚至 24 小时。

另外,如果用的是 BuildKit,可以在 daemon.json 里设一个上限:

{
  "builder": {
    "gc": {
      "enabled": true,
      "defaultKeepStorage": "10GB"
    }
  }
}

这样 Docker 自己在超过阈值时就会回收,不用你操心。defaultKeepStorage 的含义是「至少保留这么多」,超出的部分才会被清。设成 10GB 的意思是:缓存最多占到 10GB 左右。

五、镜像清理:按时间还是按数量

悬空镜像的清理是最安全的操作,因为悬空意味着没有任何 tag 指向它,也就意味着你没法直接用它启动容器:

docker image prune -f

真正需要判断的是「有 tag 但已过期」的镜像。这里的策略有两种:按时间,或者按数量。我选按数量,因为时间跟版本节奏没有必然关系——有的项目一周发三次,有的三个月一次。

按数量的实现思路是:对每个仓库名,保留最近 N 个 tag,其余的删掉。这里要注意 Docker 的 tag 没有天然的排序字段,需要你自己从 tag 名里解析版本或者日期。如果 tag 里有日期(比如 20261115-1a2b3c),按字符串倒序就够用:

docker images --format '{{.Repository}} {{.Tag}} {{.ID}}' \
  | grep '^myapp ' \
  | sort -k2 -r \
  | tail -n +6 \
  | awk '{print $3}' \
  | xargs -r docker rmi

意思是:myapp 的镜像按 tag 倒序,跳过前 5 个,剩下的按镜像 ID 删除。这段只打印不执行的版本,是把最后一行换成 cat,先看一眼要删什么。

有一个坑:如果两个 tag 指向同一个镜像 ID,删其中一个 tag 不会真正释放空间,得两个都删。所以按 ID 删除比按 repo:tag 删除更彻底,但也更容易误伤——xargs -r docker rmi 会拒绝删除仍被容器引用的镜像,这一点是保护。

六、把整套流程做成每周自动跑

手动救火的问题是:你不知道什么时候会满。我的做法是每周日凌晨跑一次清理脚本,把日志、构建缓存、悬空镜像、以及超期的停止容器一起处理掉,同时把清理前后的占用写进一个日志文件。这样如果哪天空间又莫名涨了,看日志就知道是哪个环节。

用 systemd timer 比 cron 更好一点,因为能看状态、能查日志。一个最小配置:

# /etc/systemd/system/docker-gc.service
[Unit]
Description=Docker weekly garbage collection

[Service]
Type=oneshot
ExecStart=/usr/local/bin/docker-gc.sh
# /etc/systemd/system/docker-gc.timer
[Unit]
Description=Run docker-gc weekly

[Timer]
OnCalendar=Sun 04:30
Persistent=true

[Install]
WantedBy=timers.target

脚本的核心是顺序和阈值。我的顺序是:先截断超大的日志(这一步不需要问任何人),再清构建缓存(保留 7 天),再清悬空镜像,再清停止超过 14 天的容器,卷完全不碰。每一类之前打印当前占用,之后打印释放了多少。

Persistent=true 这一项值得说:如果那一周机器在周日凌晨正好关机,开机之后它会补跑一次。没有这一项,错过就错过一整周。

七、什么时候该考虑的不是清理,而是换盘

清理是一时的。如果你的 /var/lib/docker 每周都要清一次、每次都清出十几个 G,那说明增长的速度快过清理的速度,迟早会撞墙。这时候有三个选项。

第一,把 Docker 的数据目录挪到独立的大盘。改 daemon.json 里的 data-root,然后停 Docker、迁移 /var/lib/docker、再启动。这一步我在另一篇讲磁盘使用的文章里写过完整流程,主要风险是迁移时忘了同步 SELinux 上下文或者属主,导致 Docker 起不来。

第二,从源头减少产生量。具体就是:镜像瘦身(多阶段构建、基础镜像从完整版换成 slim 或 alpine)、日志别走 stdout、构建时别把 node_modules 和 .git 打进层里。镜像从 1.4G 砍到 380M 之后,同一个磁盘能存将近四倍的版本。

第三,接受「这台机器不适合跑 Docker」。一核一 G 的小 VPS 上跑 Docker,本身就是在用小刀砍大树。这种机器上更适合直接用系统的包管理器装 PHP、Nginx、MySQL,少一层抽象,少一堆看不见的占用。这个判断我在另一篇讲从面板迁移到命令行的文章里讨论过,结论是一样的:工具的复杂度要跟机器的规格匹配。

最后说一句我觉得比具体命令更重要的话:任何 prune 命令都不该出现在你的日常 shell 历史里被随手敲。把它写进脚本,脚本里要有「先打印、后执行」的试运行模式,要排除带 keep 标签的卷,要有日志。一个人的运维,靠的不是记性好,而是把判断固化成代码,让下一次的自己不用重新想一遍。

Last modification:November 17th, 2026 at 08:27 pm

Leave a Comment