备份跑了三年,恢复时才发现是空壳:restic 增量仓库与恢复演练的落地

一、真实场景:三条备份都成功,恢复时一条用不上

这类事故我见过不止一次。日历一样规律的备份任务跑了三年,日志里全是 success,直到某天误删了十几张图片、或者数据库被一条错误的 SQL 清空,才发现备份文件要么是 0 字节,要么解压报错,要么恢复到一半卡在字符集不匹配上。备份的价值不在「有没有执行」,而在「能不能恢复」,而后者在出事之前从来没有被验证过。

个人站长尤其容易忽略这一点,因为备份是最没有即时反馈的工作:做对了没人表扬,做错了要等到一年后才知道。这篇文章讲的是我给自己定的一套轻量方案:用增量快照工具做日常备份、用校验与演练保证可恢复,并把「检查备份」本身做成一个会报警的自动化任务,而不是指望自己每个月记得。

方案选型上我选 restic,理由很实际:单文件二进制、支持加密、天然增量、仓库可以放本地也放对象存储、校验命令齐全。若要更强的去重或局域网缓存,borg 也是好选择,但 restic 在没有常驻服务的小机器上部署更省事。

二、先分清三件事:备份、快照与归档

很多人把这三个概念混着说,导致保留策略一团乱。备份是为了从故障中恢复,关注恢复速度与时间点;快照是为了在变更前后留一个可回滚的状态,关注成本和保全粒度;归档是为了长期留存某份历史数据,关注介质寿命和可读性。三者可以共用工具,但保留策略完全不同。

对个人站点,我把它拆成三层:第一层每天一次的文件级增量备份,覆盖代码、附件、配置文件,保留 14 天;第二层数据库逻辑备份,每天一次、保留 7 天,同时每周一次全量保留 8 周;第三层是季度一次异地整包快照归档,刻到对象存储的低频层,保留一年。这套组合的存储成本不高,但恢复能力覆盖了误删、误改、勒索、机器报废四种情况。

还要明确一件事:备份不等于高可用。磁盘做 RAID1 只能防坏盘,不能防误删;数据库主从能防单点故障,不能防逻辑错误,因为错误会同步到从库。这两类措施必须与备份并存,不能互相替代。

三、仓库布局:加密、去重与异地的取舍

restic 的仓库是一堆加密的 pack 文件加索引,天然去重,所以「每天全量」实际上只传变化的部分。建立仓库时第一件事是拿到密码并妥善保管:密码丢了仓库就是一堆废字节,没有后门。

export RESTIC_REPOSITORY=sftp:backup@10.0.0.9:/srv/restic/site
export RESTIC_PASSWORD_FILE=/root/.restic-pass
chmod 600 /root/.restic-pass
restic init
restic --version

备份目标我建议至少两个:一个本地或同机房(恢复快),一个异地(防整机报废)。restic 支持多个仓库,用不同的环境变量切换即可。异地的选择上,SFTP 到另一台机器是最简单可靠的方式,对象存储需要额外配置,但免去了维护接收端;如果预算紧张,用对象存储的冷归档层承接季度归档也很合理。

几个实测的注意点:一是密码文件权限必须是 600,否则 restic 会拒绝执行;二是 SFTP 目标要在对端建好 .ssh/authorized_keys 并限制命令,最好用一个只能访问该目录的专用账号;三是仓库所在磁盘如果和源数据在同一块盘上,一切故障都会同时影响两边,这种「备份」只能防误删,不能防硬件故障,必须清楚它的边界。

四、备份什么:排除规则比包含列表更重要

文件备份最容易犯的错是把不该进仓库的东西也塞进去:缓存目录、日志、会话文件、临时上传分片、node_modules。这些文件每天全变、体积又大,会把仓库撑爆并拖慢备份速度,而真恢复时它们没有任何价值。

restic backup /var/www/site /etc/nginx /etc/php /root/backup-conf \
  --exclude /var/www/site/cache \
  --exclude /var/www/site/runtime \
  --exclude /var/www/site/uploads/tmp \
  --exclude '*.log' \
  --exclude '*.pid' \
  --exclude '.git' \
  --tag daily --host site01

排除列表要写在配置文件或脚本里而不是手敲,写成文件更清晰:--exclude-file /etc/restic/excludes.txt,每行一条模式,可以注释。给每次备份打 --tag,之后做保留策略和查询都靠它,否则一天跑两个任务时你分不清哪个是文件、哪个是数据库。

数据库不能靠文件级复制。运行中的 InnoDB 文件在内存里有脏页,直接拷出来很可能是坏的,恢复时报「表空间损坏」或者干脆起不来。正确做法是先 dump 成 SQL 再让 restic 收:

mysqldump --single-transaction --quick --default-character-set=utf8mb4 \
  --routines --triggers --events zz1984 \
  | gzip -6 > /root/backup-conf/zz1984-$(date +%F).sql.gz
restic backup /root/backup-conf --tag db

--single-transaction 保证在不锁表的情况下拿到一致快照,前提是表都用 InnoDB;如果有人还在用 MyISAM,就要额外处理,别指望这个参数救你。dump 完之后把文件用 restic 收进去,本地只保留最近几天,避免磁盘被占满。

五、保留策略:让 restic 自动剪枝

「保留最近 14 天」这种说法太粗糙,因为周一到周日的 14 份备份价值并不一样。restic 的 forget 命令支持按天、周、月、年分别保留,并可用 --prune 清理无引用数据。

restic forget --tag daily --keep-daily 14 --keep-weekly 8 --keep-monthly 6 --prune
restic check --read-data-subset=5%

这套参数的含义是:最近 14 天每天一份,最近 8 周每周一份,最近 6 个月每月一份,重叠的部分自动合并,实际保留数量远小于相加值。prune 会真正删除不被引用的 pack 文件,通常耗时较长,所以我把它放在每周一次的任务里,每天的任务只做 forget 不 prune,减少锁仓库的时间。

check --read-data-subset 是重点:它按比例抽样读取并校验数据块,能发现磁盘静默损坏。全量 check 在几十 G 的仓库上跑一次要很久,抽样 5% 每天跑一次,一年下来就把整个仓库覆盖过一遍,性价比高得多。别只用 restic check 不带参数,那只校验结构,不校验真实数据。

六、校验:备份成功的判据是什么

「备份日志没有 error」是最弱的判据。我自己定的判据要同时满足四条:仓库 check 结构正常;抽样数据校验通过;最近一次快照的时间不超过 26 小时;最近一次快照的文件数与体积在合理区间内。

restic snapshots --last --json | jq -r '.[0] | "\(.time) \(.paths|join(","))"'
restic stats --mode restore-size latest
restic check --read-data-subset=2%

文件数这一条尤其有用。某次有人把站点目录挪到了别的路径,备份任务照常成功,只是备份的内容变成空目录,日志里只有一行 files: 0。如果只看退出码,你会以为一切正常。所以脚本里必须把文件数与上一次比较,下跌超过两成就直接报错退出。

另外要警惕「备份写到源盘」的经典错误:脚本里目标路径写成了源目录下的 backup 子目录,restic 会把上一次的备份内容也一起备份进去,仓库体积翻倍增长,同时源盘被逐步塞满。这类问题在监控里表现为磁盘使用率单调上升,脚本本身毫无异常。用 df 阈值告警能兜住。

七、演练:把恢复当成年检,而不是事故时才学

没有演练过的备份,恢复成功率只能算猜。我的做法是每季度给自己安排一次恢复演练,专门用一台临时机器(或者本机的临时目录加临时数据库),按事先写好的清单走一遍,记录每一步耗时。

# 1. 在空目录恢复某一天的站点文件
restic restore latest --target /tmp/drill/site --include /var/www/site
# 2. 恢复数据库 dump 并解压
restic restore latest --target /tmp/drill/db --include /root/backup-conf
zcat /tmp/drill/db/root/backup-conf/zz1984-2026-11-17.sql.gz | mysql -uroot -p zz1984_drill
# 3. 起一个临时 PHP 环境指向恢复出来的目录,抽查十个页面

演练时要遵守两条纪律:绝不恢复到生产目录,要恢复就用独立目录和独立库名;演练完把恢复库删掉,避免下次误连。抽查的页面不要随便点,固定十页:首页、一个分类页、一篇文章带图、搜索结果、后台登录、附件下载、RSS、sitemap、404 页、一个带评论的文章。这一组能覆盖绝大多数路径问题。

记录三件事:整个恢复耗时、文件权限与属主是否需要修、有没有文件落在备份的排除列表里而恢复后缺失。第三件事常被忽略,比如缩略图缓存被排除了,恢复后站点缺图,得重新生成,这在演练中被发现是好事,事故时才发现就是灾难。

八、自动化:让检查自己叫醒你

再好的流程,只要靠人记就会漏。我把备份与校验拆成两个独立的 cron 任务,并且让「检查」任务检查「备份」任务的结果,而不是自己检查自己。

30 3 * * * root /usr/local/bin/backup-job >> /var/log/backup.log 2>&1
15 8 * * * root /usr/local/bin/backup-verify | mail -s "backup verify" me@example.com

backup-verify 做的事情是:读取备份日志尾部、检查最近快照时间与文件数、跑抽样 check、核对仓库可用空间。全部通过则输出 OK 一行;任何一项不合格则以非零退出码结束,并在邮件正文里写清楚哪一项不合格、建议怎么处理。邮件而不是短信,是因为这类问题通常不紧急到需要半夜叫醒,但必须每天看得见。

还有一个值得加的兜底:把「最近一次成功备份时间」写进站点监控的检查项里。当备份连续两天没成功,站点本身却一切正常时,传统可用性监控不会报警,只有这类业务指标能发现。它们比 ping 和端口检查有用得多。

九、小结:把备份做成一件可证明的事

备份的目标不是执行,而是恢复。衡量标准可以写得很具体:仓库校验通过、抽样数据可读、最近快照在 26 小时内、文件数在合理区间、每季度恢复演练成功并且耗时在可接受范围内。五条都满足,你才可以说「我有备份」。

工具只是载体。restic 换成 borg、rsync 加校验、甚至云厂商的快照服务都能做到,真正决定成败的是排除规则是否合理、数据库是否走逻辑导出、保留策略是否匹配你的恢复需求、以及有没有一个不依赖记性的检查任务。把这四件事定下来,你就不需要在事故现场边查文档边祈祷了。

Last modification:November 18th, 2026 at 07:27 pm

Leave a Comment