定期备份这件事,几乎所有站长都会做。真正出事的时候救回站的,不是「有没有备份」,而是「备份有没有用」。我在过去几年里帮人恢复过七八次站点,失败的原因几乎从来不是「没备份」,而是备份本身有问题:文件在、内容是空的;数据库导出来了、只导了一半;压缩包校验不过;链路上有一个 -p 参数写成了明文密码进了日志;最经典的,是备份脚本运行得很成功,只是它一直在备份一个已经空掉的目录。
这篇文章不讲「用 rsync 还是 restic」,而是讲怎么验证一份备份是真的有用的,以及在设计备份链路时,那些只有踩过才知道的静默失败。
静默失败的第一种:脚本成功,但数据是空的
最典型的例子是这个脚本:
#!/bin/bash
cd /var/www/html && tar czf /backup/site-$(date +%F).tgz .看起来没问题。但如果 /var/www/html 因为某次迁移变成了一个空的挂载点(或者挂载失败、目录不存在但是被创建了),tar 会忠实地把空目录打包,返回 0,cron 里没有任何报错。三周后你需要恢复,解压出来一个 0 字节的网站。
同理还有 MySQL:
mysqldump -uroot -pxxx zz1984 > /backup/db-$(date +%F).sql如果库名写错了,mysqldump 会报 Unknown database 并返回非 0,但 > 重定向已经把输出文件创建出来了——于是一个 0 字节或者只有几行注释的 .sql 文件安静地躺在备份目录里。如果这个脚本后面还有 gzip,那连这个 0 字节都会被压缩成功,文件名看起来完全正常。
所以第一条原则是:每次备份之后,必须检查产物的体积下限。不是「检查文件存在」,而是检查它大过一个阈值。
DB=/backup/db-$(date +%F).sql.gz
mysqldump --single-transaction --quick --routines --triggers \
-uroot -p"$PASS" zz1984 | gzip > "$DB"
SIZE=$(stat -c %s "$DB" 2>/dev/null || echo 0)
if [ "$SIZE" -lt 200000 ]; then
echo "备份异常:$DB 只有 $SIZE 字节" | mail -s "备份告警" you@example.com
exit 1
fi阈值不要拍脑袋。先看看过去三十天的备份体积分布,取最小值的 60% 左右作为下限。有了这个下限,库被清空、库名改错、磁盘满写了一半,这三种情况都能被抓到。
静默失败的第二种:mysqldump 的内存陷阱
默认的 mysqldump 会把整张表读进内存再输出。在 1G 的小机器上,遇到一张几十万行的文章表或者日志表,结果就是 OOM——mysqldump 被内核杀掉,输出文件残缺,而且由于管道的原因,退出码可能被吞掉。
--single-transaction 对 InnoDB 做一致性快照,不锁表(这点很重要,否则备份期间站点写入全卡住)
--quick 逐行读取,不在内存里堆整张表(等价于 --opt 的一部分,但显式写更稳)
--routines --triggers 存过程、触发器、事件(很多人漏了,恢复后发现定时任务全没了)
--default-character-set=utf8mb4 避免中文变问号
--no-tablespaces 避免低权限账号因 PROCESS 权限失败还有一个更隐蔽的:--single-transaction 只对 InnoDB 有效。如果站点里有 MyISAM 表(老插件常见),它们不会有事务快照,备份期间写入的内容可能处于不一致状态。检查一下:
SELECT table_name, engine FROM information_schema.tables
WHERE table_schema='zz1984' AND engine<>'InnoDB';如果查出 MyISAM,要么转引擎,要么备份时加 --lock-tables(会短暂锁写,慎用)。
静默失败的第三种:链路中间断了却没人知道
我见过最贵的一次事故,是备份在本地完全正常、每天凌晨三点跑到异地,跑了一年多。出事那天需要恢复,打开异地存储发现最近 40 天的文件都是 0 字节。原因:异地的磁盘配额满了,rsync 每次都在传输阶段失败,但脚本里写了 || true,把失败吞掉了,日志又重定向到了 /dev/null。
几条硬规则:
- 永远不要写
|| true。要允许某个可选步骤失败,就单独处理,并留下证据。 - 不要重定向到 /dev/null。哪怕只是
>> /var/log/backup.log 2>&1,也比什么都没有强。 - 远端备份必须做「回读校验」,不是传输完就结束。rsync 之后再 ssh 过去
stat一下文件大小,或者更稳的做法是算哈希。
LOCAL_HASH=$(sha256sum "$DB" | cut -d' ' -f1)
ssh backup@remote "cat /backup/$(basename "$DB")" | sha256sum | cut -d' ' -f1 | \
grep -qx "$LOCAL_HASH" || { echo "远端校验失败" | mail -s ALERT you@example.com; exit 1; }这个回读会跑一遍网络,对每天几百 MB 的备份来说成本可接受,换来的是「备份链路真的通了」这个确认。
静默失败的第四种:看起来能恢复,其实恢复不了
这一条是最容易被忽略的,也是最致命的。很多人验证备份的方式是「文件能解压」「sql 文件能打开看一眼」,但这跟「能恢复成可用站点」是两回事。
常见的「能解压但恢复不了」情形:
- 权限丢失。tar 打包时没保留属主(没用
-p,或者用了--numeric-owner却没有对应 uid),恢复后 web 用户读不了文件,全站 403。恢复后必须chown -R www-data:www-data。 - 软链接变成了普通文件或反向。tar 默认保留软链接,但 rsync 不加
-l会跟随链接,把链接指向的实际内容复制一份——目录体积莫名其妙变大,或者循环链接导致无限递归。 - 数据库里有视图/外键。按字母序导入时,视图依赖的表还没建,导入报错中断,后面的表全没进去。恢复脚本里要临时关掉外键检查,或者按依赖顺序导。
- 存储过程、触发器缺失。前面提到的
--routines --triggers漏了就是这个问题。表现为「数据都对,但某些业务逻辑不执行」。
解决办法只有一个:定期做真实的恢复演练。不是看文件,是真的解压到一个临时目录、导入到一个临时库、把站点在另一台机器上跑起来,然后访问首页、访问一篇文章、登录后台、发一条测试文章、删掉它。
我现在的做法是每个季度一次,用一条清单固定检查这几项:
- 解压到
/tmp/restore-test,检查文件数和总体积与线上同量级(相差不超过 20%)。 - 导入临时库,
SELECT COUNT(*) FROM typecho_contents,与线上对比。 - 随机抽三篇老文章,确认正文非空、不含
<这类转义残留。 - 确认分类表、用户表行数一致。
- 确认上传目录里的图片能正常读出(不是 0 字节)。
- 记录这次演练的耗时,作为真实灾难时的 RTO 参考值。
备份该保留几份、放几个地方
对个人站来说,3-2-1 原则不必教条执行,但「两个物理位置 + 三个时间点」是底线:
/backup/daily/ 保留 7 份,每天一份
/backup/weekly/ 保留 4 份,每周日从 daily 复制
/backup/monthly/ 保留 3 份,每月 1 号
# 异地:对象存储或另一台机器,同步 daily 最新一份关键点是每天那份必须异地。机房被停机、账号被封、勒索软件加密,本地备份会一起没。我一般会有一台完全不同厂商、不同机房的小机器专门放备份,用最小权限的密钥、只允许写入不允许删除(对象存储可以用只写策略,防止被恶意删除)。只写不能读听起来反直觉,但这是防勒索的有效手段之一。
另外还有一个细节:备份文件不要在同一个 shell 里既备份又删除旧备份。如果备份失败而删除成功,你会得到「整洁的空目录」。稳妥顺序是:先备份 → 校验 → 成功才轮转删除。
把「备份成功」变成一个会被验证的事实
最后说一下怎么让这套东西长期运转。人一定会忘,所以必须让系统替你记住。我的做法是三个层次的告警:
- 失败告警:脚本任何一步返回非 0,立刻发邮件/推送。这条最简单也最常被省掉。
- 体积异常告警:上面说的下限检查,以及上限检查(突然变大也可能是异常,比如日志表炸了)。
- 「没跑」告警:这是最难但最重要的一条。如果 cron 任务根本没被触发(crontab 被覆盖、机器重装、服务挂了),你收不到失败告警,因为压根没跑。做法是在备份脚本里写一个心跳文件,再另设一个每天的检查任务,发现心跳文件超过 26 小时没更新就告警。
# 备份脚本末尾
date +%s > /backup/.last_success
# 独立的心跳检查(每天中午跑)
LAST=$(cat /backup/.last_success 2>/dev/null || echo 0)
NOW=$(date +%s)
[ $((NOW - LAST)) -gt 93600 ] && echo "备份已 $(( (NOW-LAST)/3600 )) 小时未成功" | \
mail -s "备份心跳丢失" you@example.com这套东西加起来不到一百行脚本、三个 cron 条目,但它是这几年里唯一让我在半夜睡得着的运维投入。备份的价值不体现在「我每天都备份了」,而体现在「出事那天,我能在四十分钟内把站点恢复成一个能正常发文章的状态,并且知道数据和出事前那一小时相比只差了一点点」。检验这件事的唯一方法,是真的演练过一次。