我最早的一份恢复演练记录,只有失败两个字:备份文件在,恢复脚本跑了二十分钟,最后一步报了一个权限错误,数据库是空的。那天晚上我把四个月前的日志翻出来对,发现备份任务其实从第三个月起就一直是「成功」状态——返回码 0,日志末尾写着 complete。它成功地把一个零字节的文件传到了远端。
这件事之后,我把「备份」和「能不能恢复」彻底分开当成两件事,并且在服务器上做了一套很土但很好用的演练流程。这篇文章讲整个过程:要测什么、怎么造数据、怎么在演练里把坑提前踩掉,以及我最后落地的那个脚本。
先明确一件事:备份成功不等于可以恢复
备份链路上每一环都可能「静默成功」:
- 导出阶段静默失败:
mysqldump遇到锁表或权限问题可能输出一部分就退出,但如果你用...重定向并且没检查退出码,文件照样生成,只是缺表。 - 压缩阶段静默失败:管道里
gzip出错时退出码会被管道的最后一个命令覆盖,mysqldump | gzip > x.gz的退出码是 gzip 的。 - 传输阶段静默失败:
rsync或对象存储上传失败但被 cron 里的|| true吞掉。 - 过期清理把最新的一份删了:按文件名日期排序清理,遇上跨年或时区,删错了。
- 备份文件权限或属主不对:恢复时读不了,而备份任务本身是 root 跑的,从来没报过。
这五种我都遇到过至少一次。它们的共同点是:在监控里全都显示绿色。所以演练的第一个目的不是验证「流程能跑」,而是验证「这些环节里的静默失败,能不能被主动发现」。
演练要在哪台机器上做
绝对不要在生产库上做恢复演练,这一点没有讨论余地。但也不需要再买一台机器,我用的方案是:
- 在本机用 Docker 起一个临时 MySQL,端口 33061,数据目录放在
/tmp下的 tmpfs(演练完直接删,不占盘); - 用生产备份文件恢复到它里面;
- 恢复完成后跑一组校验查询;
- 把结果写进一个结果文件,和上一次演练对比。
内存小的机器要注意:MySQL 8 默认会申请不少内存,演练容器启动时最好显式限制,避免把自己那台 1G 小机挤死。
mkdir -p /tmp/drill/data /tmp/drill/log
mount -t tmpfs -o size=1500m tmpfs /tmp/drill/data 2>/dev/null || true
docker run -d --name drill-mysql \
--memory=600m --memory-swap=600m \
-e MYSQL_ROOT_PASSWORD=drillpass \
-e MYSQL_DATABASE=drilldb \
-v /tmp/drill/data:/var/lib/mysql \
-p 33061:3306 \
mysql:8.0 --innodb-buffer-pool-size=128M --performance-schema=OFF
# 等到真的能连上,不要用 sleep 20
for i in $(seq 1 60); do
if mysqladmin -h127.0.0.1 -P33061 -uroot -pdrillpass ping 2>/dev/null | grep -q alive; then
echo "ready after ${i}s"; break
fi
sleep 1
done这里有两个细节值得说。第一,performance-schema=OFF 能省掉一两百兆内存,演练场景完全不需要它。第二,等待就绪一定要用 mysqladmin ping 轮询而不是 sleep——我第一次写 sleep 20,在慢盘上容器 25 秒才起来,恢复脚本直接连不上,演练「失败」了一次,其实是脚本的问题。
导入这一步,最容易踩的三个坑
备份文件从生产环境来,导入时的坑基本集中在字符集、SQL 模式和权限。
坑一:字符集不匹配。生产是 utf8mb4,导出的 dump 里如果不带 SET NAMES utf8mb4,导入到默认 latin1 或 utf8mb3 的实例里,中文会变成问号。这类损坏是不可逆的:恢复出来的库看起来表结构都在、行数也对,但正文全是 ???。所以校验查询里必须有一步是「随机抽十条正文,检查是否包含中文」。
mysql -h127.0.0.1 -P33061 -uroot -pdrillpass drilldb < /backup/site-2026-11-20.sql更稳的做法是在 dump 命令里显式带上字符集参数,并且在恢复前先 SET NAMES utf8mb4;。
坑二:DEFINER 导致视图和触发器导入失败。如果生产库里有视图或存储过程,dump 里会带 DEFINER=`someuser`@`localhost`。演练容器里没有这个用户,导入时非超级用户会报 ERROR 1449 (HY000): The user specified as a definer does not exist。用 root 导入通常能过,但如果你用普通用户演练,就会卡在这里。处理方式:演练时用 root,或者导出时加 --skip-definer(MySQL 版本较新才有),或者导入后批量改 definer。
坑三:外键与导入顺序。整库 dump 通常自带 SET FOREIGN_KEY_CHECKS=0;,但要确认你的 dump 方式(比如分表导出)也有。否则导入时可能因为顺序问题报外键错误,而错误被 --force 吞掉,最后得到一个缺表的库。
所以导入命令不要加 --force,也不要 2>/dev/null。让错误露出来,这是演练的意义。
校验:把「看起来恢复了」变成「能证明恢复了」
导入完不校验,等于没演练。我用的校验清单分三层:完整性、一致性、可用性。
第一层:完整性——行数和表数必须对得上
-- 源库(当天导出时记录的基线)
-- SELECT COUNT(*) FROM typecho_contents;
-- 演练库
SELECT table_name, table_rows FROM information_schema.tables
WHERE table_schema='drilldb' ORDER BY table_name;注意 table_rows 对 InnoDB 是估算值,不能直接拿来对比。要精确就 SELECT COUNT(*) 逐表跑,或者只挑关键的几张表跑。我一般只精确对比五张表:文章、评论、用户、附件、配置。这五张覆盖了业务的关键状态。
第二层:一致性——最新的一条数据在不在
行数对得上,不代表内容是最新的。我遇到过备份文件是三天前的(cron 在某个时区算错),行数只差几十条,肉眼看不出来。所以校验里固定加一条:查最新的那条记录的时间戳,和预期日期比对。
SELECT MAX(created) FROM typecho_contents;
-- 期望:距离今天不超过备份周期(比如每天备份,就该是昨天或今天)如果最大时间戳距离今天超过 48 小时,直接判定这次备份无效。这条检查救过我一次——那台机器的时间同步出了问题,cron 确实每天跑,但备份的是同一个旧快照。
第三层:可用性——能不能真的读出来一条完整内容
这是最容易被跳过、也最重要的一层。我固定跑三件事:
-- 1. 随机抽三条正文,人工看有没有乱码
SELECT cid, LEFT(text, 120) FROM typecho_contents ORDER BY RAND() LIMIT 3;
-- 2. 检查有没有零字节/空正文
SELECT COUNT(*) FROM typecho_contents WHERE text IS NULL OR LENGTH(text) < 10;
-- 3. 关联查询能不能跑通(说明索引和外键结构正常)
SELECT c.cid, c.title, COUNT(m.id) AS comments
FROM typecho_contents c LEFT JOIN typecho_comments m ON m.cid=c.cid
GROUP BY c.cid ORDER BY comments DESC LIMIT 5;第 1 条必须人眼看。这一点我不想省:中文乱码、HTML 被转义、时间被整体平移,这些都只有看才能发现。自动检查只能证明「有数据」,证明不了「数据是对的」。
把整个演练写成一个脚本
手动做一次之后,就应该把它固化。这个脚本我放在 /root/backup-drill.sh,每周日跑一次,输出写到 /root/drill-report/,只保留最近八次。
#!/usr/bin/env bash
set -uo pipefail
# 注意:不加 set -e,我们要自己判断每一步,并且输出完整报告
DRILL_HOST=127.0.0.1
DRILL_PORT=33061
DRILL_DB=drilldb
DRILL_PW=drillpass
DUMP=$(ls -t /backup/*.sql.gz 2>/dev/null | head -1)
REPORT=/root/drill-report/$(date +%Y%m%d).txt
mkdir -p /root/drill-report
fail() { echo "[FAIL] $*" | tee -a "$REPORT"; exit 1; }
ok() { echo "[ OK ] $*" | tee -a "$REPORT"; }
[ -n "$DUMP" ] || fail "没有找到备份文件"
echo "备份文件: $DUMP ($(du -h "$DUMP" | cut -f1))" | tee -a "$REPORT"
# 1. 体积下限校验:小于 50KB 基本就是空文件
SIZE=$(stat -c %s "$DUMP")
[ "$SIZE" -gt 51200 ] || fail "备份文件过小: ${SIZE} 字节"
# 2. 校验和(如果备份时生成了 .sha256)
if [ -f "$DUMP.sha256" ]; then
sha256sum -c "$DUMP.sha256" 2>&1 | tee -a "$REPORT" || fail "校验和不匹配"
ok "校验和通过"
fi
# 3. 备份文件内部完整性:最后一行应该是 dump 完成标记
zcat "$DUMP" | tail -1 | grep -q 'Dump completed' \
&& ok "dump 标记存在" \
|| fail "dump 没有结束标记,可能被截断"
# 4. 重建演练容器
docker rm -f drill-mysql >/dev/null 2>&1
# ... 启动容器(同上),轮询就绪 ...
# 5. 导入
zcat "$DUMP" | mysql -h$DRILL_HOST -P$DRILL_PORT -uroot -p$DRILL_PW "$DRILL_DB" 2>>"$REPORT" \
|| fail "导入失败"
# 6. 校验
CNT=$(mysql -N -h$DRILL_HOST -P$DRILL_PORT -uroot -p$DRILL_PW "$DRILL_DB" \
-e "SELECT COUNT(*) FROM typecho_contents" 2>>"$REPORT") || fail "查询失败"
[ "$CNT" -ge 100 ] || fail "文章数异常: $CNT"
ok "文章数 $CNT"
LAST=$(mysql -N -h$DRILL_HOST -P$DRILL_PORT -uroot -p$DRILL_PW "$DRILL_DB" \
-e "SELECT MAX(created) FROM typecho_contents")
NOW=$(date +%s); GAP=$(( (NOW - LAST) / 3600 ))
[ "$GAP" -le 48 ] || fail "最新数据距今 ${GAP} 小时,备份可能过期"
ok "最新数据距今 ${GAP} 小时"
BAD=$(mysql -N -h$DRILL_HOST -P$DRILL_PORT -uroot -p$DRILL_PW "$DRILL_DB" \
-e "SELECT COUNT(*) FROM typecho_contents WHERE text IS NULL OR LENGTH(text)<10")
[ "$BAD" -eq 0 ] || fail "有 $BAD 条空正文"
ok "正文完整性通过"
echo "演练完成 $(date '+%F %T')" | tee -a "$REPORT"几个写法上的说明:
- 不开
set -e,是因为我需要在每一步失败时写下具体原因再退出,而不是让脚本静默中止留下半份报告。每个关键命令都显式检查退出码。 zcat | mysql的退出码是 mysql 的,这一点有好处也有坏处——好处是能捕捉导入错误,坏处是 zcat 失败(文件损坏)时可能看不出来。所以我在前面加了zcat | tail -1 | grep 'Dump completed'单独校验文件完整性。pipefail配合set -u会让未定义变量直接报错,避免$DUMP为空时把根目录当文件操作。
演练结果怎么看
报告文件我每周看一次,重点不是看「有没有 FAIL」,而是看趋势:
- 备份文件大小逐周下降,可能是内容出了问题(比如附件目录没进备份);突然大幅上升,可能是日志表没清理。
- 导入耗时逐周变长,说明数据量在涨,恢复时间窗口要重新评估——做「四小时内恢复」的承诺之前,先看看演练里导入用了多久。
- 文章数变化曲线,正常情况下应该和新发布数量对得上。如果突然停顿,说明某天的备份有问题。
顺便说一句那次的结局:我加上了「Dump completed 标记检查」和「体积下限」两条之后,第三次演练就抓到了一个凌晨 3 点被 OOM 打断的备份——文件 12MB,有结束标记?没有,最后一行停在半句 SQL 上。如果不是演练,这个文件会被存满 30 天,直到真正需要它的那天才发现。
最后:恢复演练的目标不是「能恢复」,是「知道恢复要多久」
很多人把演练做成「跑通一次就行」,我更在意的是把恢复时长量出来并记下来。因为真正出事的时候,老板问的不是「备份有没有」,而是「多久能回来」。这个数字只能靠演练积累。
我现在的记录里有三个数:拿到备份文件到容器就绪(大约 40 秒)、导入耗时(随数据量从 6 分钟涨到 14 分钟)、校验耗时(2 分钟)。加起来约 17 分钟,加上确认故障和决策的时间,我给自己的承诺是「一小时内站点可读」。这个数字是演练攒出来的,不是估出来的。
还有一条:至少每季度做一次「不带提示的盲演练」——只拿备份文件,不给任何说明,让别人(或者三个月后的自己)从零开始恢复。这一步会暴露所有「只有你脑子里才知道」的步骤,比如某个路径、某个密码、某个必须手动改的配置。