前阵子接了个活,帮朋友的网站把计数器从「访客打开一次页面就 UPDATE 一次」改成文件缓存。上线之后平均 CPU 从 40% 掉到 3%,但当天晚上他就发消息说:后台的访问统计数字再也不动了。我去看了一眼,页面上的计数没变,日志里也没有报错,甚至连慢查询都没多一条。这种「不报错、也不干活」的故障最难查,因为所有你能想到的监控都是绿的——它的失败方式是静默的。
这篇文章就把这类问题拆开。缓冲写、延迟写、批量合并,这些优化手段的原理都是同一件事:把 N 次写合并成 1 次写。而「合并」这个词本身就意味着「什么时候真的落盘」变成了一件需要额外判断的事。只要这个判断有任何一个条件漏了,数据就会永久停在内存或临时文件里,而且不会有任何异常抛出。下面按触发条件分组讲,从最常见的开始。
第一类:临时文件写完,从来没被 rename 成就位
先看缓存计数器最经典的写法:读文件、解析数字、加一、写回去。为了防并发,一般用 flock 加锁:
$fp = fopen('/tmp/counter.txt', 'c+');
flock($fp, LOCK_EX);
$n = (int) stream_get_contents($fp);
$n++;
ftruncate($fp, 0);
rewind($fp);
fwrite($fp, (string) $n);
flock($fp, LOCK_UN);
fclose($fp);注意 ftruncate 那一步。如果进程在 ftruncate 之后、fwrite 之前被杀掉——比如被 OOM killer 盯上,或者 PHP 触发了 max_execution_time,或者服务器刚好重启——文件就变成了 0 字节。下一次读进来 (int) "" 得到 0,然后从 1 开始重新数。数字就是从这里开始往回跳的,而不是「不动」。
如果是「不动」,那更可能是另一种:fwrite 的返回值没检查。磁盘满、inode 用完、目录变成只读、或者文件所在的 /tmp 被 systemd 挂成了 tmpfs 且已满,这几种情况下 fwrite 会返回 false 或写入字节数小于预期,而 flock 和 fclose 都不会报错。脚本照常返回 200,页面照常显示上一次的数字。代码里如果只有 fwrite($fp, $v); 这一句,就等于把所有失败信息扔掉了。
正确的做法是三件事一起:写入前检查文件系统剩余空间并留出余量;写入时比较返回值,fwrite 返回的字节数与 strlen 不一致就立刻告警;写完用「临时文件 + rename」的方式替换,rename 在同一文件系统内是原子的,读者永远看到完整的旧值或完整的新值,不会看到 0 字节的中间状态。
$tmp = $path . '.' . getmypid() . '.tmp';
if (file_put_contents($tmp, $val) !== strlen($val)) {
error_log("counter write short: $tmp");
@unlink($tmp);
return false;
}
if (!rename($tmp, $path)) {
error_log("counter rename failed: $tmp -> $path");
@unlink($tmp);
return false;
}还有一个容易忽略的点:rename 会替换掉 inode,而 flock 是加在 inode 上的。如果有另一个进程正持有旧文件的锁,它写进去的内容会落在已经被 unlink 的旧 inode 上,直接被丢掉。所以「临时文件 + rename」和「flock 原地改」不能同时用在同一份数据上——要么全用 flock 原地改并检查返回值,要么全用 rename 替换并用 atomic 的计数器(比如 Redis 的 INCR,或者独立的加锁文件)。混着用就一定会丢更新,而且是并发量大了才丢,测试时看不出来。
第二类:日志缓冲开着,进程被正常关闭时刷盘失败
这一类的现场通常是:访问日志文件一直在长,但某台机器上某一段时间的日志缺失,而且缺得不连续——有,然后空一段,又有。既不是整段消失,也不是文件被截断。
PHP-FPM 的 access log、Nginx 的 access_log、以及各种应用自己写的日志,都可能带缓冲。Nginx 的 access_log /var/log/nginx/access.log combined buffer=32k flush=5s; 意思是攒够 32k 或者过 5 秒才落一次盘。这个配置本身没问题,问题在于「进程退出时缓冲区怎么办」。
如果进程是被 SIGTERM 杀掉的,行为取决于程序有没有注册信号处理器并调用 fflush/正常退出。Nginx 的 worker 在收到 SIGTERM 后会完成当前请求再退出,会刷盘;但如果是 SIGKILL,缓冲区里的几千行日志就随着进程内存一起消失了。而 kill -9 这件事,在你「服务器慢,先杀掉重启」的时候是家常便饭。所以日志缺失的时间段,往往正好对应一次粗暴的重启。
另外一层:缓冲是按文件描述符算的,但如果你配了 logrotate 的 copytruncate,情况会更糟。copytruncate 的做法是把文件复制走然后把原文件截断成 0 字节,Nginx 手里的文件描述符还指向同一个 inode,偏移量还在原来的位置。下一次写日志时,内核会从这个偏移量继续写,结果文件开头出现一大段由 \0 组成的空洞,grep 读的时候会提示「binary file matches」,而日志内容看着像丢了。这是另一种「日志不动」的形态:文件在长,但前面全是空字节。
# 判断日志文件里是否有空洞
grep -c $'\x00' /var/log/nginx/access.log 2>/dev/null
# 或者
tr -d '\0' < /var/log/nginx/access.log | wc -l
# 对比行数
wc -l < /var/log/nginx/access.log两个数字差得很多,就说明有空洞。修法是 logrotate 用 create 模式配 postrotate 里的 nginx -s reopen(或者 systemctl reload),不要用 copytruncate;对于自己写的应用,在 logrotate 的 postrotate 里发 USR1 信号并让应用重新 open 一次文件。
第三类:日志 collector 读到了更新的 inode
这一类比上一类更隐蔽,因为它和「缓冲」看起来没关系。现象是:rsyslog、filebeat、logstash 这类采集器在很多机器上都是最后那段日志没发出去,而且是尾部永远差几条。
原因在 filebeat 的读法。它记录的是「读到哪个 inode 的哪个偏移」,然后用 inotify 和定期扫描两种方式发现新内容。如果日志被轮转(rename 走),采集器还在读旧的 inode,这时候行为是对的——它会读完旧文件的剩余内容,然后切换。但如果轮转方式是「删除 + 新建同名文件」,新文件的 inode 变了,采集器如果配置了 ignore_older 或者清理策略,可能在扫到旧 inode 时把它当成「已经处理过的旧文件」而直接 skip,尾部的几十行就再也不会被发出去。
更常见的版本:采集器本身有内部缓冲队列(filebeat 的 spooler、rsyslog 的 action queue),默认为了省 I/O 是「攒一批再发」。如果服务端(Elasticsearch / 远端 syslog)在此时返回错误,而队列的 queue.disk.max_size 没配或者 retry 策略是 drop,那这批数据就静默丢弃了。日志里只会有一行 info 级别的 "dropping event",混在几千行里根本看不到。
排查这类问题我习惯看两个数:采集器自己报的「已发送事件数」和源文件的行数增长。两个数对不上,就一定是某个环节在丢。filebeat 可以开 logging.level: debug 看 harvester 相关日志;rsyslog 用 impstats 模块输出 submitted 和 discarded.full 两组计数。
module(load="impstats" interval="60" log.syslog="off" log.file="/var/log/rsyslog-stats.log")
ruleset(name="remote") {
action(type="omfwd" target="10.0.0.8" port="514" protocol="tcp"
queue.type="LinkedList" queue.size="50000"
queue.filename="fwdq" queue.saveonshutdown="on"
action.resumeRetryCount="-1")
}queue.saveonshutdown="on" 是关键的一行,默认是 off。开着它,进程正常退出时会把队列刷到磁盘,下次启动继续发;不关它,一次 systemctl restart rsyslog 就会把队列里所有还没发出去的数据丢光。
第四类:应用层「攒够 N 条才写」,而 N 永远攒不够
自己写的批量插入最容易踩这个。典型写法:每次请求把记录 push 到一个数组里,数组到 100 条或者距上次写超过 10 秒就批量 INSERT 一次。这在写日志、写点击流水、写访问统计的时候很常见,因为单条 INSERT 的开销确实高。
问题出在「请求结束时数组还在内存里」。PHP 是每请求一个进程(或 FPM 子进程复用),请求结束数组就没了,除非你显式在 register_shutdown_function 里刷一次。很多实现只在「攒够 100 条」时刷,忘了注册 shutdown 钩子。那么只有当并发足够高、同一个请求链路里恰好攒满 100 条时才会写——低峰期一条都不写。
这个 bug 的表现是「白天有数据,凌晨没有」,非常像「凌晨没流量」,所以你一开始根本不会怀疑是代码问题。我上次就是先去看了 Nginx 日志确认凌晨确实有请求,才发现是批量逻辑没兜底。
class ClickBuffer {
private static $buf = [];
private static $registered = false;
public static function add(array $row): void {
if (!self::$registered) {
register_shutdown_function([self::class, 'flush']);
self::$registered = true;
}
self::$buf[] = $row;
if (count(self::$buf) >= 100) {
self::flush();
}
}
public static function flush(): void {
if (!self::$buf) {
return;
}
$rows = self::$buf;
self::$buf = [];
try {
// 批量插入失败时,退回逐条写,避免整批丢失
$ok = self::bulkInsert($rows);
if (!$ok) {
foreach ($rows as $r) {
self::singleInsert($r);
}
}
} catch (Throwable $e) {
error_log('click buffer flush failed: ' . $e->getMessage()
. ' lost=' . count($rows));
}
}
}注意 catch 里的 lost= 计数:任何批量刷盘都应该在失败时明确记录「这次丢了多少条」。没有这个数字,你永远不知道自己丢过数据。同样重要的是在 flush 之前先把数组清零再写——如果写的过程中抛异常,下一轮 flush 会把同一批再写一遍,造成重复。反过来如果先写后清零,中途 crash 就会丢。这两者的取舍要看你的场景更能容忍重复还是缺失,但至少要选一个并写清楚。
三个「看着像没写,其实写了」的假象
排查时还有三种情况会让人误判,先说清楚免得白折腾。
第一种:时区。 数据确实写了,但写的时间是 UTC,你在终端里 date 看到的是本地时间。用 SELECT ... WHERE created_at >= CURDATE() 查出来的自然是空的。MySQL 的 SELECT @@global.time_zone, @@session.time_zone, NOW(), UTC_TIMESTAMP(); 一条查清。PHP 端 date_default_timezone_get() 再对一遍。
第二种:事务没提交。 批量插入包在事务里,代码走了 return 分支忘了 commit,或者 PHP 进程退出时连接被关闭、MySQL 自动回滚。表现在 show processlist 里能看到一堆 Sleep 状态的连接持有未提交事务,information_schema.innodb_trx 里能看到 trx_state = 'RUNNING' 长时间不动的记录。
第三种:主从延迟。 写到了主库,读的是从库,从库的 relay log 还在追。这个在单机站不常见,但只要加了读写分离就会遇上。判断方法是看 SHOW SLAVE STATUS 的 Seconds_Behind_Master,以及自己程序里是不是把读请求路由到了从库。
一套能复用的排查顺序
上面四类故障,按下面的顺序查,一般十分钟内有结论:
第一步,先确认「不写」发生在哪一层。在写入点前后各插一条 error_log 带微秒时间戳,或者写入前 file_put_contents('/tmp/probe', microtime(true))。如果探针文件在动、数据库不动,问题在写入之后(事务、连接、SQL);如果探针文件也不动,问题在代码根本没走到那一步(条件判断、缓冲没触发)。
第二步,检查所有 fwrite/file_put_contents/$stmt->execute() 的返回值。我知道这听起来很基础,但我在三个故障现场里有两个找到的直接原因就是这一句没检查。PHP 的这两个函数失败时不抛异常,只返回 false。
第三步,看磁盘和 inode。df -h 和 df -i 都要看,很多「写不进去」是 inode 用完而不是空间用完。/tmp 如果是 tmpfs,还要看内存余量。
第四步,看进程的退出方式。journalctl -u php-fpm --since "2 hours ago" | grep -iE "oom|killed|signal",以及 dmesg -T | grep -i "killed process"。如果进程是被 OOM 干掉的,前面所有关于「正常刷盘」的假设都不成立。
第五步,量一下队列或缓冲的积压。Redis 的 LLEN、MySQL 的 SHOW STATUS LIKE 'Innodb_rows_inserted' 的变化速率、文件大小的增长速度,任选两个做对照。一个在涨一个不涨,分叉点就找到了。
最后加一道保险:不管用哪种缓冲方式,都配一个独立的「心跳」——每分钟由 cron 往数据库或文件里写一条固定记录,另有监控检查这条记录是否超过 2 分钟没更新。缓冲写可以失败得很安静,但心跳不会。有了这一条,这类故障至少不会等到几天后才被人工发现。