去年有台机器承担了一个说不上合理但很常见的活儿:同一个 80 端口上,既有 Nginx 反向代理走的站内域名,又有一批前端 JS 直接打过来的接口流量通过 iptables 直接转发给后端某个服务,还有一个原本只该在 443 上的跳转规则。配置是三个人先后加上去的,谁也没写过一份完整说明。它正常跑了十个月,然后在一个周五下午开始零星出现 502,并且只在某个区域来的一小部分 IP 上出现,客服的说法是「有时候打不开,刷新就好了」。
这篇文章记录的是这次定位过程。它没什么高深的理论,但如果你的机器上也有「同一个端口、多种流量、几份配置揉在一起」的情况,这套按层往下剥的方法能省掉大量猜测。我最后的结论并不在 Nginx 里,而是在内核的 socket 队列上——这也是为什么单独看日志会完全看不出问题。
先建立一张「谁在 80 端口上说话」的地图
所有排查的第一步都不是看日志,而是先把流量归属搞清楚。80 端口上同时存在三类流量的机器,任何人凭记忆画出来的图都是错的,必须现场采。三样东西一起看:内核里到底谁在监听、iptables 的 NAT 表把包送到了哪里、Nginx 里都配了哪些 server_name。
ss -lntp | grep ':80'
# 只看 LISTEN 不够,还要看四元组
ss -tnp state established '( sport = :80 )' | head -50ss -lntp 的意义在于确认「有几个进程真的绑在 80 上」。如果 Nginx 和后端服务都抢 80,那必然有一个是没起来的或者用了 SO_REUSEPORT,两者行为完全不同。这台机器上只有一个 nginx master,说明直接转发的流量根本没进用户态,是在更下层被 DNAT 掉的。
iptables -t nat -S | grep -E '80|dpt:80'
iptables -t nat -L PREROUTING -n -v --line-numbers用 -S 看规则原文比用 -L 看格式化的表更可靠,因为 -L 会把 -m multiport --dports 80,443 之类的匹配条件显示得含糊。-v 的字节计数也很重要:某条规则如果 pkts 一直是 0,那它要么顺序永远到不了,要么匹配条件根本不对。这次就是靠计数发现了一条写着 -d 后端IP 的 DNAT 规则,pkts 在过去十天里增长了上百万——也就是说,确实有一大批流量走在 iptables 这一侧,而不是 Nginx。
nginx -T 2>/dev/null | grep -nE 'server_name|listen|proxy_pass|return'nginx -T 会把 include 展开后的完整配置打出来,带行号。千万不要只读站点目录下的 conf,因为 include 的顺序决定了哪个 server 是 default_server,而默认 server 一旦被别的配置抢占,所有不匹配的域名都会被丢到它那里去。这台机器上就有一个 conf.d/000-default.conf 是后来的人为了「测试一下」加进去的,它的 server_name 是 _,排在第一位。
到这里地图才成立:三类流量分别是——A 类域名请求进 Nginx 反向代理;B 类从固定几个 IP 段打到 80 端口的请求在 PREROUTING 被 DNAT 到后端 8081;C 类老域名进 Nginx 后被 return 301 到新域名。故障只发生在 A 类的某一小部分源 IP 上,B 类从未受影响,这就是一个重要线索:如果是端口或带宽层面的问题,B 类不可能完全无感。
从日志里能看出来的和看不出来的
Nginx 的 access log 只能证明「我收到了并且我处理完了」。对于这台机器,日志里 502 的记录寥寥,而下游反馈的开不开却出现了几十次。这说明大量的失败请求没走到写日志那一步,典型的位置有两个:连接在 accept 之前就被内核丢掉了,或者请求在 Nginx 读 header 阶段就超时了。
为了把这两者分开,我给访问日志补了两个字段:$request_time(从读第一个字节到响应结束)和 $upstream_connect_time、$upstream_response_time。这三个数一放进去,问题的形状立刻变了——502 的请求里,$upstream_connect_time 是 -,说明连接根本没建立起来,而 request_time 基本都卡在 5 秒左右,正好是 proxy_connect_timeout 的默认值。这指向的是「转给后端时连不上」,不是后端返回了错误。
log_format timed '$remote_addr $host $request_uri $status '
'rt=$request_time uct=$upstream_connect_time '
'urt=$upstream_response_time ua="$http_user_agent"';
access_log /var/log/nginx/access.log timed;注意 $upstream_connect_time 可能是逗号分隔的多个值(多级 upstream、重试时会累加),解析时不要当成浮点数直接用。另外这两个变量在 HTTP/2 下是按请求而不是按连接记录的,混合协议站点的日志会看起来比实际更碎,这不算异常。
另一个容易被忽略的点:错误日志的级别。error_log /var/log/nginx/error.log warn; 会把 worker_connections are not enough 和 upstream timed out 这类线索挡住一部分。排查期把 level 临时改成 info,代价是日志体积涨几倍,所以一定要配合按小时切分或者用 logrotate 的 size 触发,不然一天之内就能把磁盘写满——这台小机只有 40G,我给它单独挂了一个 2G 的 tmpfs 之外的目录,才敢开 info。
把「只有一部分源 IP 失败」当成分层假设来用
「一部分源 IP 失败」这个特征其实把可能性砍掉了一大半。我按四个方向排:
- 链路方向:是不是某个区域到这台机器的路径有问题?用
mtr从几个不同来源点跑,如果丢包只出现在某一跳之后,那就不是本机的事。 - 连接建立方向:是不是 SYN 到了但握手没完成?这一层要看内核统计。
- 应用方向:后端连接池、TIMEWAIT、端口耗尽。
- 配置方向:有没有针对特定来源的限速、黑名单、geo 分流。
其中第 2 步和第 3 步是这次真正的战场,而它们必须先靠内核计数区分开。四组数字每次改动前后都采一遍,写到同一张表里:
nstat -az | grep -E 'TcpExtListenOverflows|TcpExtListenDrops|TcpExtTCPReqQFullDrop|TcpExtTCPBacklogDrop'
ss -s
ss -lnt | grep ':80' # 重点看 Send-Q 这一列(对 LISTEN 而言是 backlog 上限)这里有个很多人踩过的坑:ss -lnt 对监听 socket 输出的 Recv-Q 是**当前已完成握手、等待应用 accept 的连接数**,Send-Q 是 backlog 上限。当 Recv-Q 长期贴着 Send-Q 时,说明应用 accept 得不够快,内核会把新连接丢掉,而 Nginx 的日志里什么都不会有。TcpExtListenOverflows 和 TcpExtListenDrops 单调上涨就是这个现象的直接证据。
这次的结果是:TcpExtListenOverflows 在故障时段每小时增长两万左右,ss -lnt 显示 80 端口的 Recv-Q 在 511 附近反复触顶,而 Send-Q 正好是 511——这个数是 net.core.somaxconn 和 Nginx 的 listen 80 backlog= 两者取小。也就是说,队列被打满是真的,但为什么偏偏是某一部分 IP 受影响?因为内核在丢弃时并不是完全随机的:当 SYN 队列和 accept 队列都满时,丢弃行为跟到达速率强相关,而来自低延迟路径的源(通常是同区域、连接建立快)更容易在窗口里挤进去,高 RTT 的源重传一次就错过了窗口,表现出来就是「他们那边刷一下就好,我们这边完全正常」。
为什么 backlog 会被打满:真正的原因在上游超时
到这里问题变成了「为什么 accept 变慢」。答案很朴素:Nginx 的 worker 并不是在 accept 上慢,而是整个事件循环被别的活儿拖住了。这台机器上的 80 端口除了 A 类站点,还挂着那个 C 类的 301 跳转和老域名的大量静态文件请求,其中有一个目录被某个采集器以每秒几十次的速度扫。所有请求共用同一个 worker 进程的 epoll 循环,只要有一部分请求的响应很慢(比如命中了 proxy_pass 到后端、而后端在 5 秒后才超时),同一时刻其他连接就排在后面等着 accept。
这也解释了为什么加上 $upstream_connect_time 之后 502 的时间戳高度集中:每次后端抖动 5 秒,紧接着就是一批 ListenOverflows。所以这是一条链,不是一个点:后端连接变慢 → worker 事件循环被占据 → accept 变慢 → 队列打满 → 内核丢 SYN → 部分源 IP 随机失败 → Nginx 日志里什么都看不到。如果你只盯着 502 去查后端,永远查不到根因;如果你只看 somaxconn 去调大 backlog,也只是把窗口撑大一点,抖动一起来照样打满。
改动的顺序,比我一开始以为的重要得多
我按代价从低到高排了改动,每步之间隔一天观察,这样每一处改动的效果都能单独归因,不会像很多人那样一口气改五项然后说「好了」——那样你永远不知道是哪项起的作用,也没法在出问题时退回去。
第一步是给后端连接设短超时并加上重试策略。proxy_connect_timeout 从默认 60s 改成 3s,proxy_next_upstream 显式写上 error timeout http_502,并且把 proxy_next_upstream_tries 限成 2,避免一次失败把上游打进雪崩。这一项就把 worker 被占据的时间从 5 秒级压到 3 秒级,ListenOverflows 立刻降了七成。
location /api/ {
proxy_pass http://backend_pool;
proxy_connect_timeout 3s;
proxy_send_timeout 10s;
proxy_read_timeout 15s;
proxy_next_upstream error timeout http_502;
proxy_next_upstream_tries 2;
proxy_next_upstream_timeout 6s;
proxy_http_version 1.1;
proxy_set_header Connection "";
}第二步才是调队列。把 net.core.somaxconn 从默认的 4096 调到 8192 意义有限,因为 Nginx 侧的 listen 80 backlog=4096 才是真正的上限,两者取小。我在 listen 80 default_server backlog=4096; 里显式写明,同时在 worker_connections 8192 和 worker_rlimit_nofile 20000 上留足余量——但心里要清楚,这些只是容错空间,不是修复手段。
第三步是把那批扫描流量从主 server 上剥离。我没有一上来就 ban IP,而是先给那个被反复扫的目录加了一条 limit_req 和一个单独的 location,把它的处理成本降到最低(直接 404 走 return,不进文件系统查找)。然后才是对明显恶意的段做限制。限速要针对「不值得处理的请求」,而不是所有请求,这条经验我在很多台机器上验证过:挡住 90% 的垃圾请求,正常流量的表现会因此变好,而不是变差。
limit_req_zone $binary_remote_addr zone=scan:10m rate=5r/s;
location ~* ^/wp-content/backup {
limit_req zone=scan burst=10 nodelay;
return 404;
}第四步,也是本应最先做的一步——把混在一起的流量在架构上分开。我把 B 类那个 DNAT 规则从 80 端口挪到了 8080,前端的 JS 改一次地址,iptables 规则变成所有端口都能看懂的一条。同时给 C 类的老域名单开了一个 server 块,只做 301,不带任何 proxy_pass,也不读文件系统。这样三类流量在配置层面互不相干,以后任何一类出事,另外两类的日志和指标都不受影响。这一步花的时间比前三步加起来都多,但它是唯一让「下次出问题能五分钟定位」的改动。
验证:不要只看「好了」,要看住那条链上的每个环节
改完之后的验证,我固定用四个动作,缺一个都算没验完。
一是从不同源直接打源站,绕开 CDN,避免用缓存命中冒充成功。curl --resolve 是最省事的办法,不需要改 hosts,也不会被本机 DNS 缓存干扰:
curl -s -o /dev/null -w '%{http_code} dns=%{time_namelookup} conn=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
--resolve www.example.com:443:1.2.3.4 \
--resolve www.example.com:80:1.2.3.4 \
'https://www.example.com/'连打 50 次,把 http_code 分布和 ttfb 的 P95 记下来。time_connect 长时间为零或异常大,说明问题在握手层;time_appconnect 到 time_starttransfer 之间大,说明在等后端。这两个数把人从「感觉慢」拉到「慢在哪一段」。
二是把内核计数在时间窗里再采一遍,确认 ListenOverflows 是否停涨。这是最硬的判据——只要它还在涨,就说明队列还在被丢,前端表现再好也只是运气。三是等一个真实的后端抖动窗口。我在测试环境里人为地把一个后端进程 SIGSTOP 掉 5 秒,观察是否还出现 502 风暴和队列打满,这次没有复现,才算真的稳了。四是回头看 error_log,确认 worker_connections are not enough 之类的告警消失,而不是被日志级别挡住了。
事后补的那张纸
这套东西跑起来之后,我给这台机器补了一份「端口与流量归属」的单页文档,只有四列:端口、协议、入口(Nginx server_name 或 iptables 规则)、后端。四列之外只加一句「谁改的、为什么」。看起来极简陋,但它挡住了后面至少两次同类问题——因为下一个接手的人在改配置前会先看这张表,而不是先 grep 一遍五个目录。
如果你也在维护一台职责不清的老机器,我建议的顺序是:先画地图(ss + iptables -t nat -S + nginx -T),再看日志缺不缺字段(request_time 和两个 upstream 时间几乎没有成本,早加早省事),然后才谈调参。这台机器的 502 从头到尾没有任何一条日志指向根因,根因一直躺在 nstat 的计数里——日志告诉你症状,内核计数才告诉你机制。