Too many open files 不是上限不够:句柄泄漏、TIME_WAIT 与 CLOSE_WAIT 的分层排查

站长的半夜告警往往不是「CPU 100%」这么直白,而是更含糊的一句:网站打不开、很慢。真正登录上去,top 里 CPU 空闲 90%,free 里内存看起来还有余量,但 SSH 打一行字要等三秒才回显,ls 卡在 D 状态不动。这类故障十有八九落在「文件句柄」这一层:进程没崩、内存没爆、CPU 没满,可是它申请不到新的文件描述符,于是 accept 失败、日志写不进、session 读不出来,整站对外表现就是「能连上,但一直转圈」。

文件句柄的问题特点是:它不像 CPU 和内存那样有一块随时能看的仪表盘。你看到的 ulimit -n 可能显示 65535,进程里实际能用的却只有 1024;你看到的 lsof | wc -l 可能四十万行,实际占着坑的只有几千个,其余全是同一批句柄被多个线程重复列出。下面按诊断顺序拆开讲,每一步都给可以直接粘贴执行的命令,以及这一步到底在验证什么。

一、先分清三个不同的上限:systemd、shell、进程自身

同一个数字在三个地方有不同的含义,混起来就会得出「我明明改了却没生效」的错误结论。

第一层是内核的 fs.file-max,这是全系统的文件句柄总数上限:

cat /proc/sys/fs/file-nr
# 输出三列:已分配句柄数、已分配但未使用的、系统上限
cat /proc/sys/fs/file-max
sysctl fs.file-max

第一列就是当前全系统被占用的句柄数量,接近第三列时应该先看看是不是有进程在漏句柄。这一项在 4G 内存以上的机器上一般都够用,很少成为瓶颈,但容器密集的机器上值得看一眼。

第二层是进程级上限 RLIMIT_NOFILE,由启动它的父进程继承。这里是最常出错的地方:systemd 管理的服务,其上限不来自 /etc/security/limits.conf,而来自 unit 文件里的 LimitNOFILE=,或者是 /etc/systemd/system.conf 里的 DefaultLimitNOFILE=。PHP-FPM、Nginx、MySQL 如果用 systemd 启动,而你在 limits.conf 里写了一大串,很可能什么作用都没有。

# 看某个进程真实的上限:进程 PID 换成自己的
cat /proc/$(pidof nginx | awk '{print $1}')/limits | grep -i 'open files'

# 看 systemd 给服务设置的默认值
systemctl show nginx -p LimitNOFILE

# 看当前 shell(以及它启动的子进程)的上限
ulimit -n
ulimit -Hn

ulimit -Sn 是软限制,ulimit -Hn 是硬限制,进程自己可以把软限制往下调,但只有 root 才能把硬限制往上调。所以「ulimit -n 显示 65535」只说明你当前这个登录 shell 是 65535,跟 PHP-FPM 的 worker 没有半点关系。

第三层是应用的软上限,比如 Nginx 有一个指令 worker_rlimit_nofile,即使 systemd 给了 65535,主进程也必须主动设置,worker 才会用上这个值。Nginx 的 worker 每个连接占用两个 fd(客户端一个、上游或静态文件一个),所以经验公式是 worker_rlimit_nofile 不小于 worker_connections × 2 再留一截余量。经典报错「Too many open files」在 Nginx 日志里经常伴随 worker_connections are not enough 一起出现,就是这两件事没对齐。

二、定位是「谁」在占句柄:区分句柄数和进程数

知道上限没问题之后,下一步必须回答一个具体问题:这些句柄在哪个进程、哪种类型上。直接 lsof | wc -l 是最常见的错误动作——它很慢,遇到几十万个打开的 socket 会跑上几分钟,而且统计的是「行数」不是「句柄数」:多线程程序会把同一批 fd 在每个线程名下各列一遍,结果虚高好几倍。

按进程数句柄,用内核直接给的数字,快且准:

# 列出每个进程的句柄数,从多到少
for p in /proc/[0-9]*/fd; do
  pid=${p#/proc/}; pid=${pid%/fd}
  n=$(ls $p 2>/dev/null | wc -l)
  comm=$(cat /proc/$pid/comm 2>/dev/null)
  echo "$n $pid $comm"
done | sort -rn | head -20

输出会立刻告诉你谁是元凶。实践中最常见的三种情况:

  • PHP-FPM 某个 worker 的句柄数异常高,通常指向一个没有关闭的 socket 连接或者没有 fclose 的文件句柄,可能是代码里 file_get_contents 循环抓取外链、也可能是数据库连接没有归还。这时候要看具体是什么 fd:ls -l /proc/PID/fd | grep socket | wc -l 和 ls -l /proc/PID/fd | grep -v socket | head -30 分开看。
  • MySQL 的句柄数稳步上涨,看 SHOW GLOBAL STATUS LIKE 'Threads_connected' 与 Max_used_connections,句柄多但连接数不多,往往是打开了大量表文件(表多、分区多、或者 table_open_cache 设置过大)。
  • 某个自己写的小脚本或守护进程在漏,它是唯一一个句柄数随时间线性增长的进程。

确认了是「句柄泄漏」而不是「并发本来就高」之后,再看时间上的增长率。隔一分钟采一次样本比对,就能算出每小时涨多少:

ls /proc/$(pidof php-fpm8.2 | awk '{print $1}')/fd | wc -l; sleep 60; \
ls /proc/$(pidof php-fpm8.2 | awk '{print $1}')/fd | wc -l

线性增长是泄漏,跟访问量同步涨是并发(属于容量问题,做法完全不同:前者改代码或重启,后者调 pm.max_children 和上游配额的匹配)。这一步不做区分,后面所有的调参都是在赌。

三、TIME_WAIT 与 CLOSE_WAIT:两种完全相反的方向

服务器上句柄被 socket 吃掉,绝大多数情况是这两种状态之一,而它们的处理方式正好相反。

ss -s | head -20
ss -tan | awk '{print $1}' | sort | uniq -c | sort -rn

TIME_WAIT 多是主动关闭方造成的,属于连接已经正常收尾、等待 2×MSL 超时。它在适度范围内是完全正常的,不需要「优化」。常见误区是把 net.ipv4.tcp_tw_reuse 打开当成万能药:它只对出站连接(本机作为客户端去连别人)有效,对本机作为服务器接受进来的连接无效——而站点最痛的恰恰是后者。tcp_tw_recycle 在内核 4.12 之后已经被移除,网上那些「打开它就快了」的教程大多是十年前的老文,照抄可能直接导致 NAT 后面的用户连不上。

TIME_WAIT 真正需要处理的场景是:短时间内出现几万个,同时 ss -s 里 total 数量顶到本机端口范围上限。检查端口范围和本地端口数量:

sysctl net.ipv4.ip_local_port_range
cat /proc/sys/net/ipv4/ip_local_port_range
ss -tan state time-wait | wc -l

如果本机大量发起出站请求(比如 PHP 抓外链、爬虫、内部 API 调用),把端口范围从默认的 32768-60999 扩到 10240-65000,同时设置 net.ipv4.tcp_max_tw_buckets,再配合 tcp_tw_reuse=1(出站场景有效),通常就够了。注意 tcp_max_tw_buckets 太小会打日志告警并且丢弃连接,别为了数字好看随便设成几千。

CLOSE_WAIT 才是真正的危险信号。它表示对端已经发了 FIN,本机内核回了 ACK,但应用程序始终没有调用 close()。这类连接不会自己消失,只会越积越多,直到耗尽句柄。

ss -tan state close-wait | head -20
# 看是哪个进程持有的
ss -tanp state close-wait | head -20

如果 close-wait 持续存在几百上千个,不用再往下猜:程序里有一处代码路径没有关闭 socket,典型是异常分支里提前 return、或者用了第三方库的错误重试逻辑。这时候调大 ulimit 只是把爆掉的时间往后推几小时,正确的做法是找到那条代码路径,或者在中间加一层带超时的代理让连接被强制收掉。

还有一种容易被忽略的情况:ss -tan 里出现大量到 169.254.x.x 或者某个内网 IP 的连接是 ESTABLISHED 但从来不传输数据。这通常是上游(比如 Redis、MySQL、API)的网络出了问题,应用在等一个永远等不到的响应,句柄就这样一直占着。检查是否配置了连接超时和读超时——PHP 里 stream_socket_client 不设超时就是无限等。

四、不只 socket:文件、管道和 epoll 也是句柄

有时候 socket 数量很正常,句柄还是涨。这时候要看文件类型分布:

ls -l /proc/PID/fd | awk '{print $NF}' | sed 's/[0-9]*$//' | sort | uniq -c | sort -rn | head
# 或者按类型粗分
ls -l /proc/PID/fd | grep -c socket
ls -l /proc/PID/fd | grep -c pipe
ls -l /proc/PID/fd | grep -c anon_inode

几种常见的非 socket 类型:

  • pipe:进程之间通信、日志管道、或者 shell 里 cmd | grep 的残留。PHP 的 proc_open 如果没有读干净输出并关闭管道,就会积累。
  • anon_inode:[eventpoll]:epoll 实例。Node.js、Go 程序、某些异步框架会为每个连接或定时器建 epoll,句柄数高但不一定是问题。
  • anon_inode:[eventfd] / [timerfd]:事件和定时器,systemd 与容器运行时常见。
  • 普通文件:日志、上传临时文件、锁文件。如果日志文件被删除但进程还在写,句柄会指向一个不存在的路径(ls -l 显示 (deleted)),这时候磁盘空间也不释放——这类问题用 df 和 du 对不上来确认。

看到 (deleted) 标记时,可以用 ls -l /proc/PID/fd | grep deleted 一次性列出来,判断是日志轮转没通知进程重开文件(logrotate 的 postrotate 里忘记 kill -USR1 或者 systemctl reload),还是临时文件泄漏。前者是配置问题,后者是代码问题。

五、调大之后仍然爆:检查「真正生效」的路径

确认要调大上限时,最容易犯的错是只改了一处。按启动方式分别处理:

systemd 服务——在 unit 的 [Service] 段加 LimitNOFILE=65535,然后必须 systemctl daemon-reload 再 restart。restart 而不是 reload,因为限制是进程启动时继承的,reload 不会改变它。改完用 systemctl show SERVICE -p LimitNOFILE 和 cat /proc/PID/limits 双重复核。

docker 容器——在 docker-compose.yml 里写 ulimits: nofile: {soft: 65535, hard: 65535};docker run 则用 --ulimit nofile=65535:65535。注意容器里 ulimit -n 看到的可能是宿主的值,但容器内进程实际受限;容器重启后不生效的情况多半是 compose 文件改了但没 up -d 重建(restart 不会应用配置变更)。

init.d / 手工启动的脚本——/etc/security/limits.conf 里写 * soft nofile 65535 与 * hard nofile 65535,注意要重启登录会话才生效,su 命令要加 -。此外要确认 /etc/pam.d/common-session(或 system-auth)里有 session required pam_limits.so,否则 limits.conf 根本不读。

容器里的宿主内核参数——fs.file-max 是全局的,由宿主决定,容器里改 /proc/sys 通常会被拒绝或者影响宿主。遇到容器内报错而宿主数字很大的情况,优先怀疑容器运行的 --ulimit。

六、一个可直接落地的巡检脚本

与其等半夜告警,不如把这个检查做成每十分钟一次的 cron,超阈值才发消息。下面这个脚本只读,不重启任何东西,可以直接放上去跑:

#!/bin/sh
# fdcheck.sh —— 句柄告警,只看不杀
WARN=8000

for d in /proc/[0-9]*/fd; do
  pid=${d#/proc/}; pid=${pid%/fd}
  [ -d "$d" ] || continue
  n=$(ls "$d" 2>/dev/null | wc -l)
  [ "$n" -lt "$WARN" ] && continue
  comm=$(cat /proc/$pid/comm 2>/dev/null)
  cw=$(ss -tanp 2>/dev/null | grep "pid=$pid," | grep -c CLOSE-WAIT)
  echo "$(date '+%F %T') $comm pid=$pid fds=$n close_wait=$cw"
done

used=$(head -1 /proc/sys/fs/file-nr | awk '{print $1}')
max=$(cat /proc/sys/fs/file-max)
echo "$(date '+%F %T') sys used=$used max=$max"

脚本输出为空就说明一切正常。把它塞进 crontab,重定向到一个按天切分的文件里,日后回看时就有了一条句柄随时间的曲线——这比任何事后猜测都可靠。如果想配告警,在 echo 之后加一句 curl 推送到自己的通知渠道即可,但要记得给 curl 加上 --max-time,否则告警通道自己卡住会把巡检脚本拖死。

七、小结:先分类,再动手

文件句柄问题的排查之所以容易绕圈,是因为「Too many open files」这句话本身没有信息量。真正有用的是把它拆成三个问题:

  1. 是上限不够,还是泄漏?看进程句柄随时间的变化曲线,线性增长是泄漏,跟着流量走是容量。
  2. 是 TIME_WAIT 还是 CLOSE_WAIT?用 ss -tan | awk 分类计数,前者改系统参数与端口范围,后者只能改代码或加强制超时。
  3. 我改的那处配置,进程到底读到了没有?systemd 看 unit、docker 看 compose、老脚本看 pam,最后统一用 /proc/PID/limits 复核事实。

把这三步做成习惯,绝大多数「网站很慢但机器看起来很闲」的问题都能在十分钟内定位。更重要的副产品是那份每十分钟采一次的日志:它让你从一个只会看告警的人,变成手里有基线的人。有基线,才能在下一次涨得不够多的时候提前动手,而不是等它爆。

Last modification:November 19th, 2026 at 08:34 pm

Leave a Comment