一、一个请求发出去,可能死在六个地方
浏览器报错的文案通常只有一句:「网站打不开」或者「无法访问此网站」。但你作为站长的调试信息量应该比这大得多——从用户点了链接到页面渲染完成,中间有至少六个环节可能出问题,每个环节的失败表现都不同:
DNS 解析失败、TCP 连接被拒绝、TLS 握手失败、HTTP 请求卡住没有响应、返回了 5xx、页面返回 200 但内容是错的。这六种情况的排查方向完全不同,而它们的用户侧表现几乎一样。所以排查的第一步永远不是「上去看 Nginx」,而是先确定请求死在了哪一段。
这篇文章给一套可以直接照着敲的命令序列,从外到内逐层定位,每一层都有明确的「继续」与「停下」判据。所有命令都不需要装任何额外工具,curl、dig、openssl 随便一台机器都有。
二、第一刀:curl 的五个时间点把链路切开
这是整套排查里最有价值的一条命令,应该存进你的笔记最上面:
curl -o /dev/null -sS \
-w 'dns=%{time_namelookup} conn=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total} code=%{http_code}\n' \
'https://www.example.com/'五个数字的含义依次是:
time_namelookup 是 DNS 解析耗时;time_connect 是 TCP 三次握手完成的时间;time_appconnect 是 TLS 握手完成的时间;time_starttransfer 是收到第一个响应字节的时间(即 TTFB,包含服务端处理时间);time_total 是整个请求结束的时间。注意这四个时间点是累计的,不是分段,所以真正要看的是差值:TTFB 减去 appconnect 才是服务端处理时间。
判读口径很清晰。DNS 超过 100ms,说明解析有问题(可能是权威 DNS 慢,也可能是本地 resolver 在重试)。conn 与 dns 的差值超过 200ms,说明网络 RTT 高或者有丢包,跨洲访问时会这样,属于物理限制。tls 与 conn 的差值超过 500ms,通常是证书链不完整导致客户端要去拉中间证书,或者 TLS 版本协商重试。ttfb 减去 appconnect 超过 1 秒,问题在服务端——这时候才需要去查 Nginx 和后端。
一个实际案例:某站 TTFB 稳定在 3 秒,但服务器负载很低,Nginx 日志里 $request_time 只有 30ms。矛盾在哪?后来发现是前面有一层 CDN,回源正常,但 CDN 对 HTML 的缓存规则是「不缓存」,而该 CDN 对未缓存资源的首次请求会做一次预热检查,耗时两秒多。这里的教训是:curl 出来的 TTFB 是整条链路的结果,而 $request_time 只是你这一段的耗时,两个数字差 100 倍的时候,答案一定在中间的某一层。
三、DNS 层:四类失败与 resolvectl 的读法
如果 dns 时间超过 100ms 或者直接报 Could not resolve host,先确认是解析慢还是解析错了:
# 直连权威 NS 查,绕过本地缓存与递归
dig +short www.example.com @ns1.example.com
# 走系统默认递归,看用户实际拿到的结果
dig +short www.example.com
# 看完整链路,包括 CNAME 与响应时间
dig www.example.com +noall +answer +stats四类常见失败:
第一类,记录不存在。直接查权威返回空,说明 DNS 记录本身没配或者被删了。这种情况 curl 会立刻报错,不会卡住。
第二类,递归查询超时。权威返回正常,走系统递归却卡 5 秒。原因是本地 resolver 配置了多个 nameserver,第一个不通时会等待超时再试第二个。Linux 上 /etc/resolv.conf 里 options timeout:2 attempts:1 可以把这个代价从 10 秒压到 4 秒。用 systemd-resolved 的机器,配置要写在 /etc/systemd/resolved.conf 里而不是 resolv.conf,否则重启后会被覆盖。
第三类,TTL 与实际不符。改了记录却「没生效」,先看 dig 返回的 TTL 还剩多少秒。如果 TTL 300 但改了十分钟还没生效,那问题在运营商 DNS 或者 CDN 的 DNS 缓存,你能做的只有等。这也是为什么换 IP 前要提前 48 小时把 TTL 降到 60。
第四类,CNAME 链断在中间。域名 CNAME 给 CDN,CDN 再 CNAME 给一个已经不存在的别名,结果整个域名解析失败。用 dig +trace 能看到每一跳:虽然输出很长,但最后失败的那一行会直接指出是哪一跳出了问题。
还有一个容易被忽略的点:AAAA 记录。如果域名同时有 A 和 AAAA,而服务器的 IPv6 地址实际不通,用户会先尝试 IPv6 连接,等超时后才回落到 IPv4,这个代价是 20 秒以上。很多「部分用户打不开」的诡异问题都源于此。验证方法就是前面那条 curl 命令加上 -6 参数强制走 IPv6,只输出 time_connect 这一个值,看它是几十毫秒还是一长串超时后的数字:
curl -6 -o /dev/null -sS -w '%{time_connect}\n' https://www.example.com/如果 IPv6 连不上而 AAAA 记录还在,删掉 AAAA 是立刻见效的修法。反过来,如果你确定自己要做 IPv6,那就必须在监控里加一条 IPv6 的探测,否则这条记录会一直是隐雷:一部分用户可以访问,另一部分用户要等二十秒。
四、TCP 与防火墙:refused、timeout、closed 三种失败的含义
如果 DNS 正常,接下来是连接。curl 的报错文案能直接区分三种情况:
Connection refused 意味着目标主机的某个端口明确回了一个 RST 包。这说明网络是通的,防火墙没挡,但那个端口上没有程序在听。要么服务挂了,要么监听在了别的地址上。用 ss -lntp | grep :443 看是不是监听在 127.0.0.1 而不是 0.0.0.0——这是新手最常见的配置错误之一。
Connection timed out 意味着包发出去了没有任何回应。这是防火墙 DROP 的典型特征(DROP 不回包,REJECT 会回 RST 所以表现为 refused)。排查顺序:本机 iptables -L -n -v 看有没有 DROP 规则命中计数在增长;云厂商的安全组;最后是运营商或机房的外部防火墙。
Empty reply from server / Connection reset by peer 意味着 TCP 连上了但被中途掐断。常见原因有三个:TLS 握手时被 WAF 拦下、服务端处理超时主动关闭、以及 MTU 不匹配导致大包被丢。
# 分段确认哪一层断了
nc -zv www.example.com 443 # TCP 层
openssl s_client -connect www.example.com:443 \
-servername www.example.com < /dev/null 2>&1 \
| grep -E 'Verify return code|Protocol|Cipher'第二条命令的输出里,Verify return code: 0 (ok) 是证书链完整,非 0 就说明缺中间证书。Protocol : TLSv1.3 表示协商结果。这两个信息把「TCP 通了但 HTTPS 打不开」这一类问题直接切开——如果 s_client 能握手成功而 curl 失败,问题在 HTTP 层;如果 s_client 也失败,看它的具体报错,比 curl 的 SSL_ERROR 详细得多。
五、证书与 TLS:五个最常见的「浏览器报不安全」
用户看到「此网站不安全」时,90% 是下面五种情况之一,每一种都有明确的验证命令:
证书过期。echo | openssl s_client -connect host:443 -servername host 2>/dev/null | openssl x509 -noout -dates 看 notAfter。这是最不该发生的,但确实最常见——自动续期配了却因为 webroot 路径不对而从未成功过。检查 certbot renew --dry-run 的退出码,比看证书日期更早发现问题。
域名不匹配。证书的 SAN 列表里没有用户访问的那个域名,典型场景是给 example.com 签了证书,但用户访问的是 www.example.com,而两者没有写在同一张证书里。用 openssl x509 -noout -text | grep -A1 'Subject Alternative Name' 看覆盖范围。
证书链不完整。这是最隐蔽的一类:浏览器和 curl 都正常,但某些手机、某些旧版 Java 客户端报错。原因是服务器只发了站点证书,没发中间证书,现代浏览器会自动下载补齐(AIA fetching),但很多客户端不会。openssl s_client -showcerts -connect host:443 数一下输出里有几个 BEGIN CERTIFICATE,正常应该是 2 个(站点证书 + 中间证书)。
混合内容。HTTPS 页面里引用了 http 的图片或脚本,浏览器会降级显示为不安全。这类问题在证书层面看不出来,只能在浏览器控制台看,或者抓页面 grep http://。
HSTS 遗留。如果曾经给某个域名发过 Strict-Transport-Security 响应头,浏览器会在一段时间内强制走 HTTPS,期间即使你把配置改回 HTTP 也没用,用户会一直撞墙。这类问题的特征是「只有部分老用户受影响」,新装的浏览器正常。
排查 TLS 问题时有一个关键的思维顺序:先确认失败是发生在握手阶段还是应用阶段。握手阶段失败的用户,页面上什么都不会出现;应用阶段失败(比如 502)用户会看到一个错误页。这个区别决定了你该看 openssl s_client 还是看 error.log。
六、应用层:把上游超时与业务超时分开
能握手成功、返回了 5xx,这时候问题在你的服务里。第一步永远是看 error.log 的具体行,而不是先重启服务:
tail -200 /var/log/nginx/error.log | grep -E 'upstream|timeout|refused'
# 按时间窗
journalctl -u nginx --since "10 min ago" -p err --no-pagerupstream timed out (110: Connection timed out) while reading response header from upstream 表示 Nginx 已经把请求发给后端,但后端在 fastcgi_read_timeout(默认 60 秒)内没有返回响应头。这时候要判断的是:「后端到底有没有收到这个请求」。方法是在后端也开请求日志,或者看 PHP-FPM 的 slowlog。
connect() failed (111: Connection refused) while connecting to upstream 表示后端没在监听。常见于 PHP-FPM 的 socket 路径改了但 nginx 配置没改,或者 pm.max_children 达到上限后 FPM 拒绝新连接(这种情况下 error.log 会是 connect() to unix:/run/php-fpm.sock failed (11: Resource temporarily unavailable))。
这里的实操要点是:把 Nginx 的超时设得比后端短。如果 PHP 脚本最长跑 30 秒而 nginx 的 read_timeout 是 60 秒,那么一个卡死的脚本会让 nginx worker 挂住 60 秒;反之设成 35 秒,nginx 会先放弃并记录一条明确的错误。后端的 PHP max_execution_time 又应该比 FPM 的 request_terminate_timeout 短,形成逐层收口的超时金字塔:浏览器 > nginx > FPM > PHP。
反过来,如果所有超时都是 0(不超时),你会遇到更麻烦的问题:一个慢查询把所有 worker 占住,整个站点无响应,而日志里一条错误都没有。所以「0 表示无限」这个直觉在超时配置里是反的。
七、200 但内容不对:这一类最难查
最后一种失败最让人抓狂:状态码 200,页面能打开,但内容是错的——显示的是别人的站、是缓存里的旧页面、是一个空白页。这一类问题完全不会出现在 5xx 的排查路径上。
三种典型原因:虚拟主机匹配错了,Nginx 收到请求后按 server_name 匹配,如果没有任何一个匹配,会用第一个 server 块作为默认,结果是用户看到一个完全不相关的站。判据是 curl -sI -H 'Host: www.example.com' http://服务器IP/ 看返回的内容是不是你的站。缓存串号,CDN 或 Nginx 缓存没把 Host 或 Cookie 算进缓存键,导致 A 用户看到 B 用户的页面。上游连到了错误的池子,比如灰度环境与生产环境共用了一个 upstream 名字。
这一类问题的排查起点不是日志,而是对比:在服务器上用 curl -H 'Host: www.example.com' http://127.0.0.1/ 拿到源站直出内容,再和用户看到的页面 diff。如果源站对而用户错,问题在中间层(CDN、缓存、DNS);如果源站本身就错,问题在 Nginx 的 server 匹配或应用逻辑。这一步用一条命令就能切开两层,比看一百行日志有效。
八、把这套流程写成一页检查单
真正的价值是把上面这些固定下来,下次出事不用重新想。我的做法是把它压成一张七行的检查单,贴在运维文档最前面:
1. curl -w 五时间点 → 判断死在 dns/conn/tls/ttfb 哪一段
2. dns 慢或错 → dig @权威NS + dig +trace,查 AAAA
3. refused → ss -lntp 看监听地址;timeout → iptables/安全组
4. TLS 报错 → openssl s_client -showcerts 数证书个数
5. 5xx → error.log 的 upstream 行 + 后端 slowlog
6. 200 但内容错 → curl Host 头对比源站与用户侧
7. 以上全过 → 换另一台机器/另一个网络复现,确认是单点还是全局最后一行经常被跳过,但它是排除法里最省时间的一步。如果只有你的这台机器打不开,别人都正常,那问题在本地 DNS、本地代理、或者你所在的网络到机房的路由,跟服务器一点关系都没有。反过来如果只有某一个地区的用户打不开,那是运营商链路或者 GSLB 的问题,改服务器配置是白费力气。
排查的本质是二分:每次操作都要把可能范围减半,而不是「先重启一下试试」。重启之所以经常奏效,是因为它同时重置了所有状态,你无法从中知道是哪一层的问题——下次还会犯。多花那三分钟跑完 curl 的五个时间点,往往能省掉后面三个小时的猜。