备份跑了三年全是空文件:三层验证与一次真实恢复演练的清单

我认识一个站长,他的备份做得特别规范:每天凌晨三点,mysqldump 全库、tar 打包附件、再同步到另一台机器,脚本跑了三年没断过。有一次数据库被误操作,他很有底气地说「恢复一下就行」,结果解压备份的时候发现,最近半年的备份文件全都是 20 字节——因为某次改密码之后,脚本里的认证失败了,但 > 重定向依然创建了空文件,而脚本里没有 set -o pipefail,也没有人看过那两个 20 字节。

这件事之后我给自己定了一条规矩:没有验证过的备份,等于没有备份。这篇文章讲的是我怎么把「备份」这件事从「每天跑一个脚本」变成「每周自动验证、每季度实际恢复一次」,以及在这过程中踩过的那些坑。

一、备份失败的方式,比你想象的多

先说清楚失败有哪些形态,才知道该验证什么。我总结下来有五类,每一类都能让备份文件「看起来存在,实际上没用」。

第一类是空文件或截断文件。最典型的就是上面那个例子——认证失败、目标目录不可写、磁盘满,结果重定向创建了一个空文件。判断方法简单:检查文件大小和时间戳。

第二类是内容不完整但文件不小。mysqldump 在中途遇到锁等待超时、连接被断开、或者磁盘写到一半满,可能写出一份只有前半段的 SQL,文件大小有几百兆,但解不开或者缺表。判断方法是看文件末尾有没有完整的收尾标记——mysqldump 正常结束时会有 -- Dump completed 这一行。

第三类是备份了但无法恢复。文件完整、能解压、能导入,但导入之后数据是错的。最常见的原因是备份时的字符集或者 sql_mode 与原环境不同,导致某些字段的数据在恢复时被截断或转义。这类问题只有在真的恢复一次之后才能发现。

第四类是备份了但没有被传到异地。脚本前半段成功、同步那一步失败,本地有备份,机器挂了就全没了。判断方法是定期从异地那一端反向检查文件时间。

第五类是备份覆盖了自己。同一个文件名每天覆盖,某天发现数据被误删,回头一看,最近一份备份也是误删之后的。这类问题的解法是备份文件带日期,并且保留多个版本。

二、让备份脚本本身可靠:四个必加的东西

在讨论验证之前,先得让脚本本身不容易出错。我的每个备份脚本里都有这四行,缺一不可。

#!/bin/bash
set -euo pipefail

set -e 让任何一条命令失败就退出(而不是继续往下跑)。set -u 让引用未定义变量时报错(避免 $DB_NAME 为空时把整个库名拼成别的命令)。set -o pipefail 让管道中任一环节失败都算失败——这一条是针对我们那个 20 字节文件问题的直接解药。

第二样是先写临时文件,成功了再改名为正式文件。这样即使中途失败,也不会留下一个看起来正常的半成品:

TMP="${OUT}.part"
mysqldump --single-transaction --routines --triggers --hex-blob \
  "$DB" > "$TMP"
mv "$TMP" "$OUT"

第三样是备份完成后立刻检查收尾标记和文件大小。这一步能在脚本里就把第三类之前的问题挡掉:

tail -c 200 "$OUT" | grep -q 'Dump completed' || { echo "dump incomplete"; exit 1; }
[ "$(stat -c %s "$OUT")" -gt 10240 ] || { echo "dump too small"; exit 1; }

第四样是结束时主动报告。我的脚本会在最后往一个状态文件里写一行 日期 库名 大小 耗时 状态,并且在失败时通过邮件或者 webhook 通知。一个人维护站点,最重要的不是备份本身,而是「备份坏了你能知道」。

三、自动验证:三层,从便宜到贵

验证的核心矛盾是:真正彻底的验证是「恢复到一个临时环境然后比对数据」,但这最贵、最慢。所以我做成分层的:便宜的每天跑,贵的每周跑,最贵的每季度人工跑一次。

第一层,结构性检查(每天,秒级)。文件存在、大小合理、时间戳是今天的、末尾有收尾标记、gzip 能通过 gzip -t 校验。这一层能抓住九成以上的失败形态,成本几乎为零。

# 检查最近一份备份的基本健康
latest=$(ls -t /backup/db/*.sql.gz | head -1)
gzip -t "$latest" || echo "CORRUPT: $latest"
zgrep -c 'Dump completed' "$latest" || echo "NO TAIL MARKER: $latest"

gzip -t 这一项值得强调:它会把整个文件解压一遍做 CRC 校验,能发现传输中断或者磁盘坏块造成的损坏。一个 200M 的备份大概两三秒,完全值得每天跑。

第二层,导入到临时库(每周,分钟级)。在同一台机器上建一个临时数据库,把备份导入进去,然后跑几条计数查询,跟生产库对比数量级。比如内容表的行数、最大的十个表的大小、最新一条记录的时间。

mysql -e "CREATE DATABASE IF NOT EXISTS verify_tmp"
gunzip -c "$latest" | mysql verify_tmp
mysql -N -e "SELECT COUNT(*) FROM verify_tmp.contents WHERE type='post'"
mysql -e "DROP DATABASE verify_tmp"

这里的关键是「对比」,不是「能导入就行」。我有一次导入成功了,但比对行数发现少了四成——原因是备份用的账号在某些表上没有 SELECT 权限,mysqldump 遇到没权限的表会跳过并继续,只在 stderr 里留一行 warning。如果不比对行数,这个坑能一直藏在备份里。

顺带说一句,给备份账号的权限要单独设计:至少要有 SELECT, LOCK TABLES, SHOW VIEW, TRIGGER, EVENT, PROCESS, RELOAD。缺任何一个都可能让备份在某一部分静默跳过或者失败。PROCESS 和 RELOAD 容易忘,而缺了它们可能拿不到一致性快照。

第三层,真实恢复演练(每季度,半天)。找一台临时机器(或者本地虚拟机),从零开始:装 MySQL、建好用户、导入备份、把站点连上去、打开首页、随便点几篇文章、试一次搜索、发一篇测试文章。这一层验证的是「我知不知道怎么恢复」,而不只是「文件没问题」。

这一层最容易被跳过,因为它不紧急。但恰恰是它让我发现过几个真正致命的问题:恢复时必须先手动创建某个存储过程(脚本里漏了 --routines);附件目录的属主 uid 跟新机器不一致,图片全 403;配置文件里有一处硬编码的旧 IP,恢复后搜索功能直接报错。这些问题在「检查文件」这一层永远不会暴露。

四、恢复演练的记录该写什么

演练不是「做一次就完」,而是要沉淀成一份可以照着执行的东西。我每次演练都会更新一份两页纸的文档,内容包括:

恢复的完整步骤,按顺序,带具体命令。精确到「先建用户还是先导入」「导入要不要关闭外键检查」「附件是先拷还是后拷」。写得越具体越好,因为真正需要这份文档的时候,你大概正处在慌乱中。

每一步的预计耗时。10G 的库导入要多久、附件 8 万张要拷多久。有了这个数字,你才知道「正在恢复」和「卡住了」的区别。

恢复之后的验证清单。首页 200、随机五篇文章 200、搜索有结果、后台能登录、发布一篇测试文章后前台能看到、图片能显示、RSS 有输出。七项,一项一项打勾。

这次演练发现的问题和修法。这是整份文档最有价值的部分,因为它是真实的、针对你自己站点的。

回滚方案。恢复本身也可能出错。如果新环境恢复失败,什么时候放弃、切回旧环境、怎么让 DNS 指回去。这部分要写清楚触发条件和决策人(哪怕决策人就是你自己)。

五、备份策略:3-2-1 之外还要加一条

3-2-1 这个原则大家都会背:三分备份、两种介质、一份异地。对个人站长来说,落地大概是:本地一份、对象存储一份、另一台机器一份。

但我觉得对内容站还得加第四条:至少一份是「不可变」的。原因是勒索软件和误操作。如果你的备份是通过挂载的目录写入的,那么一个拿到写权限的攻击者可以把备份一起加密或者删掉。做法是开启对象存储的版本控制,或者用只追加(append-only)的存储桶策略,让写入者没法删除历史版本。

另一个容易被忽略的点是保留周期。我的做法是:最近七天每天一份、最近四周每周一份、最近十二个月每月一份。这样既能应对「昨天误删」,也能应对「三个月前就被改坏了一直没发现」。实现上不需要复杂的逻辑,每天备份之后跑一个小脚本,按日期规律删掉不该留的。

还有一个具体的建议:备份文件的名字里带上数据库名和日期,不要只叫 backup.sql。我在恢复演练里踩过一次:三个站的备份目录结构一样,文件都叫 db.sql.gz,慌乱中抓错了一份,导进去之后才发现数据对不上。改成 zz1984-20261117-0300.sql.gz 这种格式之后,再也不可能搞错。

六、附件备份比数据库更容易出事

数据库有 mysqldump 这个标准工具,附件目录的备份反而更粗糙——大多数人的做法就是 tar czf 一把梭。这里有几个坑值得说。

第一,tar 打包大目录会跑很久,期间新增的文件会被漏掉或者打进去一个不完整的版本。如果附件目录在持续写入(比如有用户在传图),要么先停写入,要么接受「这次备份可能漏掉最近几分钟的文件」。我的做法是接受后者,但把备份时间放在访问最低谷,并且记录备份开始的时刻,恢复时知道边界在哪。

第二,增量备份很容易做错。用 rsync 做增量,--delete 参数要不要加是个关键决定:加了,源目录被误删的文件在备份端也会被删;不加,备份端会积累垃圾但更安全。对备份来说,永远不该加 --delete,除非你确信源目录只会被正确修改。更稳的做法是用 --backup --backup-dir=,把被覆盖或删除的文件移到另一个目录,而不是直接删掉。

第三,属主和权限要一起备份。用 tar -p 保留权限,用 root 执行以避免读不到某些文件,恢复时注意 uid 是否一致。这一条我在另一篇讲整站搬迁的文章里详细写过,附件目录的权限问题是搬迁和恢复中最常见的故障。

七、把「备份可用」变成一个可度量的指标

最后回到开头那个故事。那位站长的问题不是不会做备份,而是从来没有人告诉他「你的备份坏了」。所以我把这件事做成了一个数字:「最近一次成功验证距今多少天」。

这个数字写在我自己的运维台账第一页,每周更新。超过七天没验证,就标黄;超过十四天,就标红,当周必须处理。听起来很形式主义,但它的作用是真实的:它把「备份」从一个默默运行的脚本,变成了一个需要有人负责的结果。

备份这件事的残酷之处在于,平时的成功没有任何反馈——脚本跑完了,没有报错,你就以为它成了。只有真正需要它的那一天,你才会知道答案。而那一天,通常是你最没有余裕去排查的日子。

所以与其把精力花在「备份策略有多少层」上,不如把精力花在「我怎么知道它是好的」上。每天一次结构检查、每周一次导入比对、每季度一次真实恢复,这三件事加起来每个月花不到一个小时,但它们决定了你在最坏情况下的底线。

Last modification:November 17th, 2026 at 08:27 pm

Leave a Comment