两万张图片搬到对象存储之后:URL 不变的反代配置、rclone 三重校验与缓存头里的两个坑

站里的图片一直是压在服务器本地,两万三千多个文件、总共不到 4G,看上去完全不该被当成问题。直到上个月云厂商的账单邮件到了,我才发现流量费比服务器月租还贵出七成。查访问日志,/uploads/ 目录占了全站 91% 的流量,而且其中有一半请求的 Referer 根本不是我的域名。

这篇文章讲三件事:图片流量到底被谁吃掉了、怎么在不换域名不改文章的情况下把图搬到对象存储、以及搬完之后为什么还是慢——也就是缓存头、签名和防盗链这三处必须做对的地方。整个过程我做了两遍,第一遍在测试机上踩满了坑,第二遍才敢在线上动手。

一、先用量化数字决定要不要搬

搬家是个有成本的动作:要考虑 URL 永久性、要考虑老文章外链、要考虑回滚。所以先算账,算清楚再动。

# 按目录统计流量占比(Apache 合并日志格式)
awk '{split($7,p,"?"); print p[1]}' access.log \
  | awk -F/ '{print "/"$2"/"$3}' | sort | uniq -c | sort -rn | head -10

再算「外站引用」这一块:

awk '$11 !~ /zz1984/ && $7 ~ /\.(jpg|png|gif|webp)$/' access.log \
  | awk '{print $11}' | sort | uniq -c | sort -rn | head -20

这两条命令出来之后你会得到两个数字:图片占总流量的比例、盗链占总图片请求的比例。我的情况是 91% 和 47%。如果盗链比例超过 15%,那么搬家的收益不只是省流量费,还包括把不该你承担的请求挡掉。

反过来,如果你的站图片总共才几百 MB、日 PV 不到一千,那搬家收益很小——每个月省的钱不够你折腾两小时。这种情况优先做防盗链和缓存头,先别搬。

二、URL 不变是唯一硬约束

搬图片最容易犯的错是顺手把路径也改了,改成 cdn.example.com/2026/11/xxx.jpg 这种更漂亮的结构。改完发现老文章里的 <img src> 全部 404,然后不得不写一堆 301,再然后发现微信、知乎上转载的文章图片全挂了——那些图你没权限改。

所以第一条纪律:URL 保持 https://www.example.com/uploads/... 完全不变。有两种实现方式:

  1. Nginx 反代:location /uploads/ 反代到对象存储的源站域名。优点是完全透明,缺点是多一跳回源、多一份带宽消耗(虽然对象存储内网回源通常免费或极便宜)。
  2. 存储桶绑定自己的子域名:img.example.com CNAME 到桶,然后把 www.example.com/uploads/ 用反代或者干脆把老 URL 301 到新域名。缺点是 301 会丢一部分缓存效率。

我选了第一种,因为反代可以在 Nginx 一层做缓存,实际打到对象存储的请求并不多:

proxy_cache_path /var/cache/img levels=1:2 keys_zone=imgcache:100m
                 max_size=10g inactive=30d use_temp_path=off;

location /uploads/ {
    proxy_pass https://bucket.oss-cn-hangzhou.aliyuncs.com;
    proxy_set_header Host bucket.oss-cn-hangzhou.aliyuncs.com;
    proxy_ssl_server_name on;

    proxy_cache imgcache;
    proxy_cache_key "$request_uri";
    proxy_cache_valid 200 30d;
    proxy_cache_valid 404 1m;
    proxy_ignore_headers Cache-Control Expires Set-Cookie;
    add_header X-Cache-Img $upstream_cache_status always;

    expires 30d;
    add_header Cache-Control "public, max-age=2592000, immutable" always;
}

注意 proxy_ignore_headers Cache-Control Expires。对象存储默认返回的缓存头往往很短(有的甚至给 no-cache),如果不忽略它,你这层 Nginx 缓存等于白设。这一点我在测试机上花了半小时才反应过来:明明配了 proxy_cache,X-Cache-Img 永远显示 MISS。

还有 proxy_ssl_server_name on;,做 HTTPS 回源必须写,否则 SNI 缺失,部分对象存储会返回证书错误或 400。

三、迁移本身:rclone 与三种校验

上传我用的 rclone,原因是它支持多线程、支持校验、支持断点续传,而且配置文件一份就能管多个后端。

rclone copy /var/www/site/uploads remote:bucket/uploads \
  --transfers 16 --checkers 32 --fast-list \
  --checksum --immutable --progress --log-file /var/log/rclone.log
  • --checksum:按内容哈希比对,而不是按大小和时间。跨存储必须用它,因为对象存储的 mtime 是你上传的时间,跟源文件对不上。
  • --immutable:目标已存在且内容不同就报错而不覆盖。这是安全阀,防止误把源目录写错导致整个桶被覆盖。
  • --fast-list:用列表接口一次拉全部对象,比逐个列举快几个数量级,但会消耗更多内存,几十万文件以上要小心。

上传完成后做三重校验,缺一不可:

# 1. 数量对账
rclone size remote:bucket/uploads
find /var/www/site/uploads -type f | wc -l

# 2. 内容对账(抽样 200 个)
find /var/www/site/uploads -type f -name '*.jpg' | shuf -n 200 | while read f; do
  k="uploads/${f#/var/www/site/uploads/}"
  a=$(md5sum "$f" | cut -d' ' -f1)
  b=$(rclone md5sum "remote:bucket/$k" | cut -d' ' -f1)
  [ "$a" = "$b" ] || echo "MISMATCH $k"
done

# 3. HTTP 对账(走生产域名,验证反代链路)
grep -oE '/uploads/[0-9]{4}/[0-9]{2}/[a-z0-9]+\.jpg' /var/www/site/*.html \
  | head -100 | while read u; do
    code=$(curl -s -o /dev/null -w '%{http_code}' "https://www.example.com$u")
    [ "$code" = "200" ] || echo "$code $u"
  done

第三步最容易被跳过,但它是唯一验证「用户实际访问路径」的检查。前两步只证明字节到了桶里,不证明 Nginx 能正确把请求转过去——proxy_pass 少了结尾斜杠、Host 头写错、对象键多了个前缀,都会让前两步通过而第三步全 404。

四、缓存头:搬完之后还是慢的真正原因

搬完第一天,用户反馈「图片要刷一下才出来」。我看 X-Cache-Img,第一次是 MISS 正常,但第二次应该 HIT,结果还是 MISS。原因有两个:

第一个是 Vary 头。对象存储在某些情况下会返回 Vary: Origin 或 Vary: Accept-Encoding。Nginx 默认会把 Vary 纳入缓存键的一部分,于是同一个 URL 因为请求头不同而被当成多个对象分别缓存,命中率被打散。处理办法是在 location 里 proxy_hide_header Vary; 再自己 add_header Vary Accept-Encoding;——想清楚你真正需要的维度,只保留那一个。

第二个是 Set-Cookie。某些对象存储在带鉴权参数时会返回 Set-Cookie,而 Nginx 默认不缓存带 Set-Cookie 的响应。这就是上面那段配置里 proxy_ignore_headers Set-Cookie 的作用。反过来也要注意:如果你的图片请求真的需要会话,那就不该走公共缓存,这是两回事,别混。

然后是最关键的一条:给静态图片打 immutable。

add_header Cache-Control "public, max-age=2592000, immutable" always;

immutable 的语义是「在这个 max-age 之内,文件内容保证不变,浏览器不用发验证请求」。没有它,浏览器在 F5 刷新时仍可能发一个带 If-None-Match 的条件请求,即使返回 304 也要一次往返。加上它之后,刷新基本是本地直接出图。

代价是:这些图片从此不能再原地覆盖更新。如果你哪天换了一张同名图,老访客会看到旧图直到缓存过期。所以纪律是:改图必须换文件名,或者在 URL 上加版本参数。这条纪律写在配置里,比写在文档里管用。

五、防盗链:referer 校验只能挡一半

防盗链有四种手段,效果从弱到强:

手段能挡住什么挡不住什么
Referer 白名单普通站点的直接引用空 Referer、伪造 Referer、服务端抓取
空 Referer 拒绝部分脚本盗链正常用户的隐私模式、从 https 跳到 http 的场景
签名 URL几乎所有非法引用分享链接本身的扩散、爬虫按签名批量抓
限速 + 流量监控高频批量抓取低频分散抓取

我的组合是 Referer 白名单 + 空 Referer 放行 + 单 IP 连接数限制,理由是:空 Referer 里包含真实用户(隐私设置、某些 App 内嵌浏览器),一刀切会误伤,而误伤的代价是图片不显示,比多消耗一点带宽严重得多。

location /uploads/ {
    valid_referers none blocked server_names *.example.com example.com;
    if ($invalid_referer) {
        # 不要 return 403,返回一张水印图或者 302 到落地页更实用
        rewrite ^ /static/hotlink-notice.png last;
    }
    limit_conn perip 20;
    ...
}

这里有个细节:blocked 关键字匹配的是「Referer 存在但格式被剥离」的情况,很多人漏写,导致从 https 页面引用 http 图片时被误判。none 才是空 Referer。

另外,不要用 403。403 会让浏览器显示破图,用户观感差;用一张带水印的提示图或者 302 到你的首页,既保住了视觉完整性,又能把那部分流量转成访问。这是我在一个小站上学到的做法,效果比 403 好得多。

六、回滚预案:这一步不能省

搬家过程中我把 Nginx 配置改了三处(反代、缓存、防盗链),任何一处写错都是全站图片挂掉。所以上线前我准备好了回滚:

  1. 把改之前的 /etc/nginx/conf.d/site.conf 复制成 site.conf.bak.$(date +%s)。
  2. 先只在一台机器上改,nginx -t && nginx -s reload,用 curl -I 验证十个不同目录的图片返回 200。
  3. DNS 层面把 img 子域的权重切一小部分过来观察,或者像我一样,直接用 curl --resolve 把生产域名指到测试机,验证完再全量。
  4. 出问题就 cp 回 bak 文件,nginx -s reload,三十秒恢复。

curl --resolve 这个技巧值得多说一句:

curl -I --resolve www.example.com:443:10.0.0.5 \
  "https://www.example.com/uploads/2026/11/test.jpg"

它让你在不改 DNS、不改 hosts 的情况下,用真实的域名和真实的 TLS 证书去请求指定的机器。验证反代配置、验证证书、验证缓存头,都靠它。

七、事后复盘:三个数字

搬完一周,账单和日志给出的数字是:

  • 源站出流量从每天 38G 降到 4.2G,降了将近九成。其中约一半是缓存命中带来的,另一半是盗链被挡掉的。
  • 图片首字节时间(TTFB)中位数从 180ms 降到 46ms,因为对象存储本身有 CDN 加速,而我的源站是单机没有 CDN。
  • 回源请求数从每天 62 万降到 11 万,Nginx 的 CPU 占用从 34% 降到 12%。

但真正让我满意的不是这些数字,是把图片从「我要操心的东西」变成了「不用管的东西」。以前换服务器要同步 4G 图片,现在只要改一行 proxy_pass;以前磁盘满了要清图,现在不用了。

如果你也在做这个迁移,我的建议顺序是:先算账(决定要不要搬)→ 保 URL(定约束)→ rclone 上传并三重校验(别跳过 HTTP 校验)→ 配缓存头并处理 Vary/Set-Cookie(这是慢的主因)→ 防盗链(用图片代替 403)→ 准备回滚。这个顺序不能乱,尤其是缓存头和迁移之间,先搬后调会浪费你大量重复排查的时间。

Last modification:November 22nd, 2026 at 09:24 pm

Leave a Comment