附件是内容站最容易失控的一块。图片越传越多,本地磁盘从 20G 用到 200G,备份时间从三分钟变成四十分钟,最后连 rsync 都跑不完。把附件迁到对象存储是标准解法,但绝大多数人第一次做的时候只做了"上传"这一半:文件搬过去了,站内链接没改全,老图片全部 404;或者链接改完了,防盗链没配,第二天账单上多出几百 G 的流量。这篇按真实的迁移顺序写,从选型、迁移、改写、回源到最后把别人的盗链流量挡掉。
先算清楚要搬多少,再决定搬到哪
动手之前先做一次体检,四个数字必须有:附件总大小、文件总数、最大单文件、最近三十天新增量。命令很简单:
du -sh /www/wwwroot/www.example.com/usr/uploads
find /www/wwwroot/www.example.com/usr/uploads -type f | wc -l
find /www/wwwroot/www.example.com/usr/uploads -type f -printf '%s %p\n' | sort -rn | head -5
find /www/wwwroot/www.example.com/usr/uploads -type f -mtime -30 -printf '%s\n' | awk '{s+=$1} END {print s/1024/1024 " MB"}'这四个数字决定两件事。第一是迁不迁:如果附件总共不到 2G、每月新增不到 200M,本地磁盘加一份异地备份就够,迁到对象存储反而增加了一个外部依赖和一份账单,还多了一层可能出现的 404。第二是选什么类型的存储:文件数在十万以内、以图片为主,用标准存储加热存储分层就够;如果是几十万个小文件,要特别留意列举操作(list)的计费,有些厂商按请求数收费,一次全量列举就是几十万次请求。
还有一个必须提前确认的点:源站的带宽出口。国内小水管 VPS 通常 3M 到 5M,一张 800KB 的图要加载两秒,这种情况下即使不迁对象存储,也得先上 CDN,否则谈优化都是空话。反过来,如果源站本身带宽充足、流量不大,迁移的收益主要来自"磁盘不再涨"和"备份变快",而不是"变快"。
路径结构决定了能不能平滑迁移
很多人在这一步栽跟头:源站的附件路径带着日期目录和随机名,比如 /usr/uploads/2024/03/1710000000_a3f9.jpg,迁到对象存储后如果按新的规则重新命名,站内所有历史文章的图片链接全部失效。所以迁移的第一原则是保持相对路径完全不变。
做法是让对象存储上的 key 就是原来的相对路径:源站 /usr/uploads/2024/03/x.jpg 对应存储里的 uploads/2024/03/x.jpg,或者干脆把 usr/uploads 整个目录作为前缀。这样改写站内链接只需要把域名部分换掉,路径一个字不动,出问题时也容易回退。
如果原来的命名规则实在太乱(比如所有文件都堆在一个目录里,几万个文件),那就得做一次规范化,但必须同时生成一张"旧路径 → 新路径"的映射表。这张表是后面写 301 规则的依据,也是迁移出问题时唯一的回退线索。没有这张表就开始改名,等于把回退路堵死。
用 rclone 做第一次全量同步
命令行同步首选 rclone,它支持几乎所有对象存储,而且自带校验。配置好 remote 之后,第一次全量同步:
rclone sync /www/wwwroot/www.example.com/usr/uploads \
oss:my-bucket/uploads \
--transfers 8 --checkers 16 \
--s3-chunk-size 16M \
--progress --log-file /tmp/rclone-sync.log --log-level INFO几个参数值得解释。--transfers 8 是并发上传数,小文件多的时候可以提到 16 到 32,但要注意源站出口带宽和 CPU;--checkers 是并发比对数;--s3-chunk-size 影响大文件的分片,默认 5M 在跨地域上传时效率不高。
这里用的是 sync 而不是 copy,因为 sync 会删除目标端多出来的文件。第一次全量同步时两者等价,但后续增量同步用 sync 才能让远端和源站严格一致。要特别小心:如果源目录挂载异常变成空目录,sync 会把远端的文件全删掉。所以第一次 sync 之后,先做一次 rclone check 确认数量一致,再决定要不要在定时任务里用 sync。
rclone check /www/wwwroot/www.example.com/usr/uploads oss:my-bucket/uploads --size-only
rclone size oss:my-bucket/uploads--size-only 只比大小不比哈希,速度快,适合迁移后的第一次核对。要更严格就加 --checksum,但 S3 兼容存储的 ETag 对分片上传的文件不等于 MD5,会报出一堆假的不一致,这时候只能退回 size-only。
改写链接:先统计,再替换,最后留一条退路
链接改写的对象有三处:文章正文里的 img 标签、主题模板里写死的图片路径、数据库里存的封面图字段。很多人只改了第一处,结果列表页的缩略图全挂。
先统计有多少种写法,不要一上来就全局替换。在数据库里查:
SELECT COUNT(*) FROM typecho_contents WHERE text LIKE '%/usr/uploads/%';
SELECT COUNT(*) FROM typecho_contents WHERE text LIKE '%http://www.example.com/usr/uploads/%';
SELECT COUNT(*) FROM typecho_fields WHERE value LIKE '%/usr/uploads/%';关键是分清"相对路径"和"绝对路径"。相对路径 /usr/uploads/... 只要在 Nginx 上加一条代理规则就能整体指到对象存储,正文一个字不用改;绝对路径 http://www.example.com/usr/uploads/... 混着 http 和 https 两种,才必须改写。
能用代理规则解决的,就别改数据库。这是我从几次迁移里学到的最有用的一条:数据库改写一旦执行就没有回头路,而 Nginx 规则随时能删。规则写法:
location ^~ /usr/uploads/ {
proxy_pass https://my-bucket.oss-cn-hangzhou.aliyuncs.com/uploads/;
proxy_set_header Host my-bucket.oss-cn-hangzhou.aliyuncs.com;
proxy_ssl_server_name on;
proxy_cache_valid 200 30d;
proxy_intercept_errors on;
error_page 404 = @local_fallback;
}
location @local_fallback {
root /www/wwwroot/www.example.com;
}这段配置做了三件事:把附件请求转给对象存储、缓存 30 天、对象存储返回 404 时回退到本地文件。第三条的 @local_fallback 是迁移期的保险丝——本地文件只要还没删,就算远端缺几个文件,页面也不会碎图。
必须真的改数据库时,先备份那张表,再执行更新,并且保留一份原始值。操作顺序是:mysqldump 导出 typecho_contents → 执行 UPDATE ... REPLACE(text, 'http://www.example.com/usr/uploads/', 'https://cdn.example.com/uploads/') → 抽查十条 → 清理缓存。REPLACE 是全表扫描加重写,几十万行的表要放在低峰做,并且注意它会连带更新 modified 时间戳的话,某些主题会据此重排首页顺序。
防盗链:先看清是谁在偷流量
附件上了对象存储之后,账单上的流量分成两类:自己的访问,和别人的盗链。盗链的表现很具体——某张图片的请求数远超它所在文章的访问量,且 Referer 是一堆陌生域名。
对象存储厂商一般提供 Referer 白名单,但它有两个坑。第一是空白 Referer:用户在浏览器地址栏直接打开图片、或者从某些 App 内置浏览器访问时,Referer 是空的,一刀切拒绝会导致自己这边也看不了图。第二是 Referer 头可以被伪造,白名单只能挡住随手盗链的,挡不住有意的。
更彻底的做法是在应用层签名:Nginx 用 secure_link 模块生成带过期时间的签名 URL,对象存储侧配置对应的校验。这对个人站长来说维护成本偏高,只有在盗链流量真的造成明显账单时才值得上。
location ^~ /usr/uploads/ {
secure_link $arg_st,$arg_e;
secure_link_md5 "mysecret$uri$arg_e";
if ($secure_link = "") { return 403; }
if ($secure_link = "0") { return 410; }
}实践中的折中方案是:Referer 白名单放开空白 Referer,同时加一层基于 User-Agent 和请求频率的限速。多数盗链来自采集站,它们的请求没有 Referer、UA 是 python-requests 或者空的、并且会在短时间内批量拉取。用 Nginx 的 limit_req 对附件路径单独做一层限速,就能挡掉大部分批量抓取,而对正常用户几乎无感。
limit_req_zone $binary_remote_addr zone=img:10m rate=30r/s;
server {
location ^~ /usr/uploads/ {
limit_req zone=img burst=60 nodelay;
limit_req_status 429;
}
}注意 limit_req_status 要显式设成 429。默认返回 503,搜索引擎会把它当成"服务器暂时不可用",反复重试,反而放大流量。429 是明确的"你请求太多了",爬虫会按 Retry-After 退避。
迁移完必须核对的五个数
迁移这类操作,主观感受完全不可靠。我用固定五个数做验收,缺一个都不算完成。
第一,附件总数是否一致:rclone size 的对象数和 find | wc -l 的本地数对得上,误差为零。第二,总字节数是否一致,允许 1% 以内的差异(分片上传的元数据开销)。第三,随机抽二十个近期文章的图片 URL,逐个 curl -I 看返回 200 且 Content-Type 正确——曾经有一次存储桶把 .webp 识别成了 application/octet-stream,浏览器不显示,但状态码是 200,只看状态码根本发现不了。第四,抽五个老文章(一年前以上)的图片,验证历史路径也通。第五,看对象存储控制台的请求数和流量曲线,迁移后一周内应该和站点的 PV 曲线大致同形,如果请求数远高于 PV,说明有盗链或者页面在重复请求。
Content-Type 这个问题值得多说一句。对象存储上传时通常按扩展名猜类型,猜错的概率不低(尤其是较少见的格式)。批量修正可以用 rclone 的 --header-upload 在下次同步时重设,或者用厂商的批量元数据修改工具。判据是 curl -sI URL | grep -i content-type,图片必须是 image/*,不能是 octet-stream。
最后一步:本地文件什么时候能删
这是最容易被"先放着保险"拖成永久的一步。本地附件不删,磁盘问题就没解决,迁移等于白做。
我的做法是分两段。迁移后先保留本地文件四周,让 @local_fallback 兜底;四周里每周跑一次 grep 错误日志,统计有多少请求走到了 fallback。如果 fallback 命中数持续为零,第二段就是删本地文件。删之前做一次完整备份并单独存放——备份和源文件在同一块盘上,删了源文件就等于没有备份。
删完把 @local_fallback 那段规则去掉,否则对象存储真出故障时,Nginx 会去找一个不存在的目录,日志里刷满 404。这一步不做,等于给自己留了一个会持续报错的空壳。