证书续期脚本跑了,日志写着成功,凌晨三点还是全站红了
事情发生在一个很平常的晚上。续期脚本按计划在凌晨两点半跑了,日志里是熟悉的成功信息,我那时候在睡觉。第二天早上七点,访问量开始往上走的时候,第一个报错来了:证书无效。到八点半,首页还能打开是因为浏览器缓存,直接在无痕窗口里访问,满屏红色警告。
最让我难受的不是证书过期,而是脚本记录了一切正常。一个每天汇报成功、实际上什么也没做的检查,比完全没有检查更糟糕——它让你失去了警惕。
这件事之后我把证书这一整条链路拆了一遍,从签发、原子替换、通知到续期,最后发现失败点分布在五个完全不同的层面,而每一个层面都有一个特定的"看起来成功了但实际没生效"的形态。这篇文章就是这五层的完整拆解,以及每层该怎么验。
第一层:续期本身没跑,但日志说跑了
这一层最常见的形态是计划任务根本没执行,或者执行了但被前面的步骤挡掉。日志里那句"成功"可能是上一次运行的残留。
先确认它到底跑没跑
如果续期是通过 systemd timer 触发的,不要只看 systemctl status 的 active 状态——那表示 timer 单元存在,不代表它真的触发过。
# timer 下次触发时间与上次触发时间
systemctl list-timers --all | grep -iE 'cert|acme|renew'
# 看这个 timer 单元自己最近有没有真的执行过
systemctl show acme-renew.timer -p LastTriggerUSec -p NextElapseUSecRealtimeLastTriggerUSec 如果是 n/a 或者一个很久以前的时间,说明这个 timer 从来没真正跑过或者早就停了。我遇到过一次:timer 文件写好了、enable 了,但 OnCalendar 那一行的时间表达式少写了一个 *,导致它一年只会在某一天触发一次。这种错误 systemctl status 完全看不出来,因为单元本身是健康的。
如果用的是 cron,陷阱更多。cron 的环境变量极简,PATH 里没有 /usr/local/bin,导致脚本里调用的 certbot 或者 acme.sh 找不到命令,脚本以非零码退出,而 crontab 里的输出重定向到了 /dev/null,于是失败彻底静默。排查顺序是:先把输出重定向到文件,看那个文件里有没有报错。这一条几乎能解决一半的"跑了但没用"。
确认"成功"这两个字是谁写的
一个容易被忽略的事实:脚本里打印"成功"的那个人是你自己,不是工具。如果你的脚本是这样写的——
certbot renew && echo "renew ok" >> /var/log/renew.log那么只要 certbot 的退出码是 0,"renew ok" 就会被写进去。而 certbot 在"证书还没到期所以跳过续期"的时候,退出码同样是 0。这就是"日志写着成功、实际上什么也没做"的根源:成功只表示没有出错,不表示有过期风险被解除。
正确的写法是让日志记录可核对的事实,而不是结论:
certbot renew --cert-name example.com >> /var/log/renew.log 2>&1
echo "exit=$? at=$(date -Is)" >> /var/log/renew.log
openssl x509 -enddate -noout -in /etc/letsencrypt/live/example.com/cert.pem >> /var/log/renew.log关键在最后一行:把证书文件当前的真实到期时间写进日志。这样日志里就有了一条无法伪造的证据链。判断成不成功不看"ok",而看这个日期有没有往后推。
第二层:新证书签下来了,但没被原子替换
假设续期确实执行了,新证书也落到了磁盘上。这时候会出现一个很刁钻的情况:磁盘上的证书是新的,Nginx 加载的还是旧的。
原因是 Nginx 只在启动或者收到 reload 信号的时候读取证书文件,而且读进内存之后就一直在内存里。所以"文件更新了"和"服务生效了"是两件事,中间隔着一个 reload。
更麻烦的是,reload 也会失败。如果是 nginx -s reload 失败(比如新配置有语法错误),老 worker 进程会继续用旧证书服务,服务不中断,所以你不会收到任何报警——整个站点在正常工作,只是用的是过期证书。
验证方式是两处对照:
# 磁盘上证书的到期时间
openssl x509 -enddate -noout -in /etc/letsencrypt/live/example.com/fullchain.pem
# 服务实际吐出来的证书到期时间(注意 -servername,SNI 必需)
echo | openssl s_client -connect 127.0.0.1:443 -servername example.com 2>/dev/null \
| openssl x509 -enddate -noout这两个日期必须一致。不一致就说明有东西没跟上:要么没 reload,要么 reload 失败,要么证书文件被换到了另一个进程读的位置(比如容器里挂的是旧路径)。
一个小陷阱:openssl s_client 如果不带 -servername,服务器不知道你要哪个站点的证书,会把默认站点的证书返回来。在多站点机器上,这会让你误判——"服务给的证书是旧的",其实是查错了域名。同理,直连 127.0.0.1 而不是公网域名,是为了绕开 CDN 之类前置层,直接看源站;如果要确认用户实际拿到什么,那必须从外网 curl。
原子替换这一步最容易半途而废
证书替换本身也有一个物理层面的坑。如果你的脚本是自己做"把新证书覆盖到旧路径",那么从开始写到写完的这段时间里,文件是不完整的(截断了再写)。如果恰好在这个窗口内有人 reload,Nginx 会读到一个残缺的证书,reload 失败,然后一直用旧的。这种失败是随机的、偶发的、几乎无法复现。
正确做法是先写临时文件,写完再 rename 覆盖。rename 系统调用在同一文件系统内是原子的,任何时刻读到的要么是完整旧文件、要么是完整新文件,不存在中间态。这条规则适用于所有"被服务热读的配置文件":证书、密钥、nginx conf、应用配置。凡是需要在不重启的前提下被读取的文件,都必须用"写临时文件 + rename"落地,绝不允许原地覆盖。
第三层:证书换了,但链不完整
这一层最隐蔽,因为浏览器大多能正常打开,你自己测试也发现不了。
证书本身由"叶子证书"(你的域名证书)和"中间证书"组成,中间证书用来把你的证书和根证书连起来。服务器应该在握手中把叶子证书和中间证书一起发出去,也就是所谓的 fullchain。如果只发了叶子证书,桌面浏览器通常能从缓存或者自动下载补齐,看起来一切正常;但很多移动端、老版本 Android、Java 客户端、以及一些 API 调用方会直接握手失败。
这类问题的可怕之处在于:它表现为零散的、不可复现的用户投诉——"我用手机打不开你网站""我们的接口调你们报 SSL 错误"——而你自己怎么测都是好的。
检查方法是看握手时服务器到底发了几个证书:
openssl s_client -connect example.com:443 -servername example.com -showcerts 2>/dev/null \
| grep -c 'BEGIN CERTIFICATE'这个数字应该是 2 或者 3。如果返回 1,说明你只发了叶子证书,链断了。
链不完整的常见来源有三个。一是签发工具的输出文件选错了:cert.pem 是叶子证书,fullchain.pem 才是完整的,配置里应该指向后者。二是拼接顺序错了:必须是"叶子在前、中间在后",顺序反了等于没拼。三是过期了都没换的中间证书——中间证书自己也会过期,而它通常不参与续期流程,容易被彻底遗忘。建议把中间证书的到期时间也做进监控,它往往比你的域名证书更早过期。
顺手检查一下 SNI 与多域名
如果一个 IP 上绑了多个站点,每个站点都要单独验一遍。方法是 -servername 逐个指定,确认每个域名返回的是它自己的证书,而不是相邻站点的。当某个站点的 server 块写错了域名,Nginx 会把默认站点的证书发给它,浏览器会报"证书与域名不匹配"——这属于配置错误,不是证书问题,但表现上很难区分。判据就是 openssl s_client 返回的 subject 与 -servername 是否对得上。
第四层:没过期,也没有链问题,但警告在别处
到这一层,证书本身是健康的,用户还是看到警告。原因通常是浏览器安全策略层面的东西,跟签发无关。
混合内容
HTTPS 页面里如果还引用着 http:// 的资源(图片、脚本、样式、iframe),浏览器会把它当成不安全页面处理。现代的 Chrome 和 Firefox 对图片和媒体是"升级"或者"拦截",对脚本和样式是直接阻断,很多情况下地址栏会显示"不安全"而不是完全的红页,但从用户角度都是"证书有问题"。
排查方法是在页面里搜一遍绝对 http 地址。这里不要只搜可见文本,要搜源码:
curl -s https://example.com/ | grep -oE 'http://[^"'"'"' )]+' | sort | uniq -c | sort -rn | head -20这一条命令的输出往往能立刻指出问题所在:一个外部统计脚本、一个老图床的图片地址、一个硬编码在 CSS 里的字体。改法有两种,一是把地址改成 https,二是用协议相对地址,但后者已经不再推荐,因为本地用 file:// 打开的时候会出错。首选直接改成 https,并顺手确认那个地址的 HTTPS 版本真的可用——只是把 http 改成 https 而不验证,很容易换成一个 404 或者另一个证书错误。
HSTS 的"记住效应"
还有一个特别容易让人困惑的现象:证书明明已经修好了,你自己访问还是报错,换手机访问就正常。这大概率是 HSTS 在起作用——你之前因为证书错误访问过一次,浏览器(在有些情况下)或者你自己开过的 HSTS 头,让浏览器把"必须用 HTTPS 访问这个域名"记在了本地。清掉浏览器的 HSTS 状态或者换个无痕窗口再试,如果无痕能打开,那就说明是本地记住的问题,不是服务器问题。
顺带一提,这也说明 HSTS 的 max-age 一旦设得很长就很难撤回。我自己的做法是上线初期先用较短的 max-age 跑一两个月,确认整条链路稳定之后再逐步加长,而不是一上来就设一年。
第五层:到期前没有预警,是整件事的根源
回到最开始那个凌晨。真正的问题不是续期失败,而是我们在六十天里一次都没有检查过证书还剩多久。
如果把监控做好,我应该在到期前二十天就知道有问题,有充足时间处理。所以这一层才是所有层面的兜底——任何"自动续期+自动部署"的链路,都必须有一个只读的、独立的到期检查在看着它。
一个够用的检查脚本
HOSTS="example.com www.example.com api.example.com"
WARN=21
for h in $HOSTS; do
end=$(echo | openssl s_client -connect "$h:443" -servername "$h" 2>/dev/null \
| openssl x509 -noout -enddate | cut -d= -f2)
if [ -z "$end" ]; then echo "FAIL $h 握手失败"; continue; fi
left=$(( ( $(date -d "$end" +%s) - $(date +%s) ) / 86400 ))
if [ "$left" -lt "$WARN" ]; then echo "WARN $h 剩余 ${left} 天"; fi
done这个脚本的设计有三个要点,都是踩过坑之后的结论。
第一,它从外网连,不从本地读文件。只读磁盘上的文件,你永远发现不了"文件是新的但服务吐旧证书"这种情况。整个检查的意义就在于端到端验证用户实际拿到的东西。
第二,它不带 -servername 之外的任何假设,也不复用任何会话。s_client 默认会尝试建立会话,某些情况下会复用上次的证书状态,所以我宁可每次都重新握手。这只是多花几百毫秒。
第三,它的报警必须有"沉默也报警"这一档。这是最关键的。因为脚本本身会失败——域名解析挂了、机器挂了、openssl 版本变了、某个早上网络抖动。如果脚本只在"剩余天数不足"时报警,那么它自己失效的时候,你就回到了最初的状态:静默。
我的做法是每天固定时间发一条摘要,不管有没有问题。已经正常运转的检查每天发一条"全部正常,最短剩余 58 天"的邮件,看起来是噪音,但它的真正作用是证明监控本身还活着。哪天这条邮件没来,就是有问题。
为什么不能只靠续期工具自己的通知
现在的续期工具基本都有"到期前邮件提醒"的功能,但我还是坚持自己写一条独立检查。理由是:通知走的是同一个工具,工具失效的时候通知也失效。更现实的是,很多人的机器上根本没有配好发信(没有 MTA,或者发信被当成垃圾邮件),通知发出去了,收件箱里没有,而工具那头认为已经通知过了。这类"通知已经发出"和"人已经收到"之间的断层,是运维里最常见也最隐蔽的失败。
所以我的标准是:证书到期这件事,至少要有两条完全独立的路径能告诉你。一条是续期工具自己的通知,另一条是自己写的外网检查。两条路径都断的概率才够低。
一份可以照着做的巡检清单
把上面五层收成一份清单。我建议每隔一段时间(比如每周)跑一次,全程大概三分钟。
第一项,续期任务真的在跑。systemctl list-timers 里看 LastTriggerUSec 是不是近期。用 cron 的,去日志里找昨天那个时间点有没有出现。
第二项,磁盘上的证书是新的。openssl x509 -enddate -noout -in 指向实际配置里的那个文件,看日期。
第三项,服务吐出来的是新的。外网 openssl s_client 加 -servername,对比第二项。不一致就 reload 并查 reload 日志。
第四项,链是完整的。grep -c 'BEGIN CERTIFICATE' 的结果是 2 或 3。
第五项,页面里没有 http 资源。curl 一遍首页,grep 一遍绝对 http 地址。
第六项,监控自己还活着。最近一次报警邮件的日期。
六项里前四项构成了"证书本身对不对",第五项是"页面安不安全",第六项是"出事时我会不会知道"。前面五项错了不一定会立刻造成事故,第六项错了则意味着所有其他检查都失去了意义。
回过头看那一次
那次的根因,事后复盘出来其实很朴素:续期脚本用了 certbot renew 的默认行为,而默认行为里有一个针对"证书刚签发不久"的跳过逻辑;那台机器上的证书是手动迁移过来的,文件日期比实际签发日期新,于是工具一直认为"刚开始用,不用急"。等到它不再跳过的时候,已经只剩七天,而七天内恰好碰上验证失败(那个站点的 80 端口被一条新加的规则临时封了)。
这条链上有三个地方本来可以拦住它:续期日志里本来就写了 skip 的原因,但没人看;续期的失败有通知,但那天发信服务自己也在维护;到期检查根本没做。三层防线全断,才有了早上那个全站红。
所以我现在的结论很简单,也几乎是所有运维问题的通用结论:不要指望单点可靠,要让失败可见。续期成功不叫成功,续期失败被你知道才叫成功。日志写"ok"不叫记录,日志写"到期时间从哪天变成哪天"才叫记录。检查跑了不叫监控,检查不跑的时候你能发现,才叫监控。
证书这件事只是个小切口,但它足够典型:它是一个自动化的、每天跑一次的、失败时完全静默的、影响面覆盖全站的东西。你手上大概率还有好几件同样特征的事——备份、同步、清理、以及所有那些"设了定时任务之后再也没管过"的脚本。它们值得用同一套思路重新过一遍:先砍掉"成功"这种自说自话的结论,换成可以核对的事实;再在外面加一层只读的、独立的、沉默也能报警的眼睛。