一、问题不是「有没有日志」,而是「能不能用」
系统管理员最容易犯的一个错误,是以为只要开启了日志,出事时就一定能查到线索。现实情况往往相反:半夜两点被告知「网站打不开了」,SSH 上去一看,/var/log/ 下面躺着十几个文件,access.log 里成千上万行 200,error.log 只写了一句 upstream timed out,systemd 的日志早就被轮转掉了,cron 跑没跑过根本无从判断。日志是在的,但没有一条能直接回答问题。
Nginx 的日志体系其实只有四个可以下手的地方:访问日志的字段定义、错误日志的级别、上游响应的细节记录,以及一个几乎没人用的 map 变量。把这四件事配好,排查时间能从半小时压到三分钟;配不好,日志就只是一堆加大磁盘占用率的文本。
这篇文章不谈「日志要开」,只讲一件事:当你要回答一个具体问题时,日志里的哪一行在回答它。所有配置都能直接复制使用,所有验证方式都是可以在自己机器上跑出来的命令。
二、默认的 combined 格式漏掉了三类关键信息
Nginx 默认的 combined 格式包含:客户端 IP、时间、请求行、状态码、响应字节数、referer、User-Agent。这个格式是 1996 年为 Apache 设计的,当时世界上还没有反向代理、没有 CDN、没有前后端分离。它缺的东西恰好是今天最需要的。
缺的第一类是耗时。默认格式里没有任何时间字段($request_time),所以你无法回答「哪一类请求慢」这个问题,只能靠外部工具猜。第二类是上游状态:Nginx 转发给 PHP 或后端的请求花了多久、上游返回了什么状态码、上游是哪一个,全部没有记录,于是 upstream timed out 出现时你不知道到底是谁超时。第三类是缓存命中:如果前面有一层 fastcgi_cache 或者 proxy_cache,命中与未命中的响应耗时差一到两个数量级,却不体现在日志里,你会把缓存命中当成应用变快了。
一份够用的访问日志格式定义大约 25 个字段,看上去很多,但每一行大约 300 字节,一天十万请求也才 30MB,压缩后 3MB 级别,完全不是负担:
log_format ops '$remote_addr - $remote_user [$time_local] '
'$request_method $scheme://$host$request_uri '
'$status $body_bytes_sent $request_time '
'$upstream_addr $upstream_status $upstream_response_time '
'$upstream_cache_status $request_length '
'"$http_referer" "$http_user_agent" '
'$server_name $request_id';
access_log /var/log/nginx/access.log ops buffer=64k flush=5s;其中 $request_time 是毫秒精度的小数(Nginx 从收到第一个字节到发出最后一个字节),$upstream_response_time 可能是逗号分隔的列表——如果一个请求经过了多级代理,或者出现过内部重定向,这里会有多个值,
解析时要用 awk -F'[, ]+' 把最大值取出来,而不是取第一个。buffer=64k flush=5s 两个参数决定了写盘方式:缓冲 64KB 或每 5 秒落一次盘,既能显著降低 IO 压力,又能保证崩溃时最多丢 5 秒日志。很多教程只写 access_log 不给 buffer,在高并发下会发现 nginx worker 的 IO 等待时间惊人。
三、错误日志的四个级别:不要把 warn 也打出来
Nginx 的 error_log 支持 debug / info / notice / warn / error / crit / alert / emerg 八个级别,默认是 error。很多「优化教程」教你改成 warn 甚至 info,理由是「多记录有助于排查」,这是一个典型的反向优化。
把级别降到 warn,最常见的后果是日志里塞满 client intended to send too large body、client closed keepalive connection 这类完全无害的条目。一天几十万行噪音里,真正有价值的 upstream prematurely closed connection 被埋掉了。级别越高(越严重)信息越少,级别越低信息越多但信噪比越差,正确的做法是主配置保持 error,只对特定的 location 临时降级:
# 全局保持默认
error_log /var/log/nginx/error.log error;
# 单个 location 临时排查
location = /api/order {
error_log /var/log/nginx/order_error.log info;
fastcgi_pass unix:/run/php/php8.2-fpm.sock;
}这样排查结束把 location 里的那行删掉,噪音不会长期污染主日志。另外一条实践:error_log 的路径如果写成 stderr,日志会进 systemd journal,配合 journalctl -u nginx -p err --since "1 hour ago" 可以按时间窗和优先级过滤,比在几十万行的文本里 grep 好得多。这一点在容器化部署时几乎是唯一正确选择。
还有一类信息只在 error 日志里出现,但极易被忽略:worker 进程的重启记录。worker process 1234 exited on signal 9 意味着 OOM killer 或人为 kill -9;reconfiguring 意味着有人改了配置并 reload;signal process started 意味着有外部脚本在操作。把这几类条目每天汇总一次,就能看出「谁在动线上环境」这个平时没人回答的问题。
四、把慢请求单独摘出来:三个字段组合的用法
有了 $request_time 之后,最常见的需求是「找出最慢的 20 个请求」。但直接对 access.log 排序会得到一个误导性的结果:POST 上传大文件的请求天生就慢,那是带宽问题而不是性能问题。
更有效的方法是用 map 定义一个慢请求标记,让 Nginx 在写日志时就把慢请求分类,随后的统计只需要对少数几行做:
map $request_time $slow_flag {
default "-";
"~^[0-9]{2,}\." "slow"; # 10 秒以上(含小数)
}
log_format ops '... $slow_flag ...';但纯靠 Nginx 只能标记「超过某个绝对阈值」,更贴近实际情况的判断是把 $status 与 $request_time 一起看:状态 200 且耗时大于 2 秒的请求,是「成功但慢」,属于用户体验问题;状态 499 且耗时大于 60 秒的请求,是「客户端等不下去跑掉了」,属于响应时间超过用户容忍度;状态 502/504 且 $upstream_response_time 接近 $request_time 的,是上游整个卡死,不是 Nginx 的问题。这三类在日志里的特征完全不同,却经常被一句「网站慢」混在一起。
一个日常可用的一条命令,把当天最慢的 30 个 GET 请求挑出来,排除静态资源和健康检查:
awk '$7 == 200 && $9 > 2.0 && $5 ~ /^GET/ {print $9, $5, $6}' \
/var/log/nginx/access.log \
| grep -vE '\.(css|js|png|jpg|woff2)$|/health' \
| sort -rn | head -30字段号取决于你自定义的格式顺序,所以务必在格式定义里按「先位置后可变」的原则排布:固定字段在前,引号包裹的 referer、UA 在后。这样 awk 用字段号就能稳定解析,不需要正则匹配整个行。
这里有一个具体的操作细节值得记住:$request_time 是字符串形式的浮点数,在 awk 里可以直接比大小,但如果日志开启了 gzip 轮转,用 zcat -f 处理新老文件能避免「昨天的日志查不到」这种尴尬:zcat -f /var/log/nginx/access.log* 会把未压缩和已压缩的按顺序全部读出来。
五、$request_id 与跨服务追踪:一个字段省掉一半沟通
当站点是 Nginx 加 PHP-FPM 或 Node 后端时,最容易出现的一种扯皮是:前端说「接口报 500 了」,后端说「我这边没看到错误」。两边查的都不是同一个请求。
Nginx 从 1.11.0 起提供了 $request_id,它是一个 32 位十六进制字符串,每个请求唯一。把它写进 access log 只是第一步,真正有用的是把它传给上游:
proxy_set_header X-Request-ID $request_id;
# 或者 fastcgi_params 里
fastcgi_param HTTP_X_REQUEST_ID $request_id;后端只要在日志里带上这个头(PHP 里是 $_SERVER['HTTP_X_REQUEST_ID']),两边就能用一个 ID 串起来。排查时先在前端日志里找到那行 500,拿到 request_id,然后在应用日志里 grep 同一个值,直接跳到出错的那一次执行。整个过程不需要复现、不需要猜时间窗。
如果前面还有一层 CDN,情况会复杂一点:CDN 往往也会加自己的 request id 头,这时候 Nginx 里的 $request_id 是 Nginx 自己生成的,与 CDN 的不同。正确的做法是在 CDN 回源时透传,Nginx 侧写成 map $http_x_request_id $rid { default $request_id; "~." $http_x_request_id; },即「CDN 有就沿用,没有就自己生成」,这样整条链路上的 ID 是一致的。注意这个 map 要在 http 块里定义,不能写在 server 里。
六、日志轮转与磁盘:三个数字决定要不要动手
访问日志配上 25 个字段后,增长会比默认格式快约三倍。三条命令就能算清代价:
# 日增量
ls -l --time-style=+ /var/log/nginx/access.log
# 单行平均字节数
awk '{s+=length($0)} END {print s/NR}' /var/log/nginx/access.log
# 最近 24 小时请求数(按字节估算过的替代方案)
wc -l /var/log/nginx/access.log.1一个每天五万 PV 的小站,25 字段格式下日增量大约 15MB,按 logrotate 保留 14 天再加压缩,占用不到 60MB。这时候不需要做任何特殊处理。但如果站上有爬虫抓取或图片外链,日增量可能到 1GB 级别,那就必须做字段瘦身:把 $http_user_agent 截断到 100 字符(用 map 加 substr 无法直接实现,需要在应用层或者改用 $http_user_agent 的 map 归类成几个值),或者干脆把 200 状态的静态资源请求关掉访问日志。
关闭静态资源日志的写法是 location ~* \.(css|js|png|jpg|woff2)$ { access_log off; },但要注意这会让「哪张图片被疯狂盗链」这类问题失去数据来源。更平衡的做法是把静态资源写到单独的日志文件,保留 3 天:
location ~* \.(css|js|png|jpe?g|gif|svg|woff2?)$ {
access_log /var/log/nginx/static.log ops;
}然后在 logrotate 配置里给 static.log 单独一个更短的保留期,比如 rotate 3。这样既能查最近的盗链与 404,又不会让历史数据无限膨胀。对于磁盘紧张的机器,这一条往往比换更大的盘更实际。
七、把日志变成每周一次的主动巡检
日志最有价值的用法并不是事后排查,而是每周花十分钟看五个数字,提前发现趋势。这五个数字全部可以从 access.log 用 awk 一行算出来:
# 1. 各状态码占比
awk '{c[$7]++} END {for (k in c) print k, c[k]}' access.log | sort -k2 -rn
# 2. 独立 IP 数
awk '{print $1}' access.log | sort -u | wc -l
# 3. 单 IP 请求数 Top10(异常流量)
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10
# 4. 5xx 最多的 URL
awk '$7 ~ /^5/ {print $6}' access.log | sort | uniq -c | sort -rn | head
# 5. 缓存命中率
awk '{c[$12]++} END {for (k in c) print k, c[k]}' access.log第五个数字只有在格式里加了 $upstream_cache_status 之后才有意义,它会是 HIT / MISS / BYPASS / EXPIRED / STALE 这些值之一。命中率长期低于 50% 说明缓存规则有问题;突然从 90% 掉到 20%,通常是某次发版改了 URL 参数或者 Cookie 策略——这类事故如果不看日志,往往要等到服务器负载告警才发现。
第三个数字(单 IP 请求数)是免费的异常检测。正常的搜索引擎爬虫单个 IP 每小时几百请求,而一个 IP 一小时内出现两万请求,基本可以确定是在抓站或者压测。这时候不是马上封 IP,而是先去 error.log 找同一时间窗的 limiting requests 记录,确认限流是否已经生效,再决定要不要加规则。
八、几个不值得做的「日志优化」
最后说说互联网上流传很广但实际有害的几个做法。第一是「把日志关掉以提升性能」。在 SSD 上,带 buffer 的日志写入对 Nginx 请求耗时的影响在微秒级别,关掉日志换来的性能提升用 wrk 压测都测不出来,但你失去的是唯一的事故证据。真正影响性能的是 flush 频率设成 flush=1s 同时 buffer 很小,这种组合会导致每秒一次小写入。
第二是「用 syslog 送到远端就不占本地磁盘」。远端日志服务器确实能保住证据(机器被入侵时本地日志可能被删),但前提是它本身有人维护、有轮转、有告警。一个人管几台机器时,把 journald 的 SystemMaxUse 设成 500M 并保留本地日志,比搭一套 ELK 现实得多。
第三是「日志里记录请求体」。除非你明确知道自己在排查什么,否则记录 POST body 会带来两个严重后果:用户密码、token 明文落盘;一个上传 10MB 的请求把日志撑爆。要记录请求体,正确做法是在应用层按白名单字段记录,而不是让 Nginx 全量落盘。
归根结底,日志配置的目标不是「记录得多」,而是「在需要的时候,能用一个字段或一条命令回答一个问题」。当你发现自己的排查总是从「先 grep 一下看看」开始,那就说明格式定义还没设计好。