cron 定时任务翻车实录:flock 防堆叠、% 转义陷阱与「跑了但没跑对」的六种排查

为什么 cron 是最容易被忽略的故障源

在所有服务器组件里,cron 大概是「配置最随意、出事最难查」的那一个。网站白天的表现一切正常,凌晨三点忽然磁盘写满、数据库连接数飙升、备份文件多出几个 G;第二天你看日志,只有一行看不懂的 CRON (root) CMD (...)。它不像 Nginx 那样有 error.log,也不像 PHP 那样有错误堆栈,它唯一的产物就是「某个命令被某个用户在某时刻执行了一次」,剩下的全靠你自己去推。

这篇是我自己在小站上踩了几年坑之后整理出来的一套方法:从确认 cron 到底跑没跑,到判断某个任务是不是罪魁祸首,再到让它把执行结果写下来。全程只用系统自带工具,不需要装任何监控面板。

第一步:先分清是哪一层的 cron

Linux 上至少有三个地方会触发定时任务,很多人只知道第一个:

  • crontab:用户级任务,crontab -l 看自己的,crontab -l -u www-data 看别人的(需要 root)。
  • /etc/cron.d/、/etc/cron.hourly/ 等目录:装软件时自动塞进来的任务,宝塔、Docker、Fail2ban、certbot 都会往这里写东西。
  • systemd timer:现在很多发行版已经用 .timer 代替 cron,比如 certbot 的续期、logrotate 的一部分。

所以排查的第一条纪律是:不要只看 root 的 crontab。我遇到过一次半夜磁盘暴涨,翻遍了 root 的 crontab 干干净净,最后是 /etc/cron.d/ 里某个 WordPress 缓存插件留下的清理任务,每 10 分钟跑一次 mysqldump 全库到本地目录,从来不删。

一次性把三处都列出来:

crontab -l
ls -l /etc/cron.d/ /etc/cron.hourly/ /etc/cron.daily/
systemctl list-timers --all

systemctl list-timers 这条尤其值得记住,它会给出每个 timer 的「上次触发时间」和「下次触发时间」,比 crontab 更直观——因为 cron 没有状态,timer 有。

第二步:确认任务到底有没有执行

任务没生效,第一大原因是 cron 服务根本没在跑,这在容器和一些精简镜像里非常常见。Debian/Ubuntu 上是 cron,CentOS/Alma 上是 crond:

systemctl status cron
# 或者
systemctl status crond
ps aux | grep -E "[c]ron"

注意 ps aux | grep cron 会把自己这条 grep 也匹配进来,写成 [c]ron 就干净了,这是个小细节但能省掉一次误判。

服务在跑,任务却没执行,第二大原因是 命令本身在 cron 环境里跑不起来。这是新手最常踩的坑,也是 cron 和手动执行最大的区别:cron 的 PATH 通常只有 /usr/bin:/bin,HOME 是那个用户的家目录,没有任何你在 .bashrc 里 export 的变量。于是:

  • 手动敲 python3 script.py 正常,cron 里报 python3: command not found,因为 python 装在 /usr/local/bin。
  • 脚本里用了 node、ffmpeg、rclone,全都是 command not found。
  • PHP 脚本读不到数据库配置,因为依赖某个环境变量。

解决办法很朴素但有效:cron 里一律用绝对路径,并在 crontab 顶部显式声明环境。

PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
SHELL=/bin/bash
MAILTO=""
LANG=en_US.UTF-8
*/10 * * * * /usr/bin/python3 /opt/scripts/clean_tmp.py >> /var/log/clean_tmp.log 2>&1

顺带说一个中文站的细节:如果脚本要处理含中文的文件名或输出中文日志,LANG 一定要设。cron 默认往往是 LANG=C 或者空的,Python 3 里读文件的时候会按 ASCII 去解,直接抛 UnicodeDecodeError。这个报错你手动执行时永远复现不了,因为你的 SSH 会话有 UTF-8 环境。

第三步:让任务开口说话——日志重定向的正确写法

一个不写日志的 cron 任务是运维事故的温床。但很多人加了重定向,日志里却什么都没有,或者越滚越大。几个必须说清的点:

1. 2>&1 不能省。 只写 >> log,标准错误不会进文件,于是一个非常安静的失败任务看起来像是「什么都没发生」。而 cron 会把 stderr 发邮件——但这台机器上多半没配 MTA,邮件直接丢弃,你就彻底瞎了。所以永远写成 >> /path/log 2>&1。

2. 顺序不能反。 2>&1 >> log 是错的,结果是 stdout 进文件、stderr 还去原来的地方。shell 的重定向是从左到右生效的,理解这一点基本上就不会写错。

3. 让日志自己带时间戳和结束标记。 单纯堆 stdout 在多任务共用一个日志文件时会乱。我习惯在任务外面再包一层:

*/30 * * * * { echo "=== start $(date +\%F\ \%T)"; /usr/bin/php /var/www/feed.php; echo "=== end rc=$? $(date +\%T)"; } >> /var/log/feed.log 2>&1

这里有个必须注意的语法陷阱:crontab 里的 % 有特殊含义,它表示「把后面的内容作为标准输入」,所以 date +%F 必须写成 date +\%F,否则任务会被截断,表现为「命令只执行了一半」。这个坑我第一次遇到时查了两个小时。

4. 日志要有轮转。 一个每 10 分钟追加的日志,一年下来能把小容量磁盘吃掉。/etc/logrotate.d/ 里加一段就行:

/var/log/feed.log {
    weekly
    rotate 6
    compress
    missingok
    notifempty
    copytruncate
}

copytruncate 这里很关键:cron 任务每次都是新进程,用不着 create 重开文件描述符,但保险起见加上它,避免 logrotate 因为文件被占用而不敢动。

第四步:用 flock 防止任务堆叠

这是我认为在低配 VPS 上最值得加的一行改动。假设你有个每分钟跑一次的采集/同步任务,正常情况下 20 秒跑完。某天目标站变慢,这个任务要跑 5 分钟,于是 1 分钟、2 分钟、3 分钟各自又拉起一份——五份同时在跑,CPU 打满,数据库连接池耗尽,站点直接 502。这就是典型的 堆叠。

flock 一行解决:

* * * * * /usr/bin/flock -n /var/lock/feed.lock /usr/bin/php /var/www/feed.php >> /var/log/feed.log 2>&1

-n 表示拿不到锁就立即退出,不排队等。这样无论前一次跑多久,同一时刻永远只有一个实例。

还有一种更隐蔽的堆叠:任务本身很快,但它触发的下游动作很慢,比如调用一个耗时接口然后不等结果。这种情况 flock 保护不到下游,得在应用层加队列。我的原则是:凡是 cron 直接调用的脚本,一律 flock;凡是耗时超过 cron 周期的,一律改成「投递任务 + 单独 worker 消费」。

第五步:区分「失败了」和「没跑」

这两件事的处理方式完全不同,但要区分它们,靠日志文件通常不够——因为如果任务根本没启动,日志文件里连一行都不会有。所以我在 crontab 里额外写一条心跳:

@daily /bin/msg_send.py "zz1984 日报:备份 3 个站、清理 tmp 完成、磁盘 $(df -h / | awk 'NR==2{print $5}')" >/dev/null 2>&1

哪怕这条心跳只是发到自己的邮箱或者 Telegram,它的价值在于:哪天你没收到,就说明 cron 或者网络出问题了。很多故障发现得晚,不是因为技术上多难,而是因为「没有人在看」。

另外推荐记住几组关键命令,出问题时能快速定位:

# 系统级 cron 的执行记录(Debian/Ubuntu)
grep CRON /var/log/syslog | tail -30
# 有 journald 的机器
journalctl -u cron --since today
# 看某个任务最近改了没有
stat /etc/cron.d/some-job

journalctl -u cron 输出的内容里,只要出现了 CMD (...) 就说明任务确实被拉起来了。那么剩下的问题就在脚本内部,去看它自己的日志即可,不用再怀疑调度层。

第六步:几个具体的典型故障对照

故障一:备份文件堆满磁盘。 现象是 df -h 显示 / 分区 100%,du -sh /var/backups 却对不上。原因往往是备份脚本只写不删。修法是在脚本里加保留策略,而不是靠 cron 里再挂一条 rm——因为 rm 和备份不在同一个原子操作里,容易删掉正在写的文件。留 7 天最省事:find /var/backups -name '*.sql.gz' -mtime +7 -delete,放在脚本末尾,-mtime +7 的判定基于文件修改时间,安全。

故障二:cron 跑的是旧版本脚本。 你改了 /opt/scripts/sync.py,第二天效果没变。可能是 crontab 里写的是另一个路径(有过 copy-paste 历史),也可能是改了 .py 但 Python 缓存还在,更可能是你改的是软链指向的文件而 crontab 用的是物理路径。用 ls -l 和 readlink -f 确认一下真实路径,比盯着代码找半天强。

故障三:任务在 cron 里执行时间明显偏长。 手动执行 5 秒,cron 里跑了 3 分钟。可以看 nice 值——cron 默认不会降优先级,但如果同时间段有其他大任务(比如 certbot + rsnapshot),IO 争抢会让它变慢。把大任务错开小时执行,比调优先级管用。

故障四:@reboot 任务从没执行过。 @reboot 依赖 cron 服务启动,而容器里 cron 常常不是 init 进程,容器重启不会触发。凡是关键的自启,一律用 systemd service + WantedBy=multi-user.target,别用 @reboot。

第七步:把 cron 当成代码来管

最后说一条习惯层面的东西。crontab 最糟糕的地方是它藏在系统里,不在版本库中,机器重装就没了,也不可能有 code review。我后来所有任务都写在一个仓库里,分文件放在 /etc/cron.d/,每个文件名对应一个用途(backup-db、clean-tmp、sync-feed),每个文件头部加注释:谁写的、什么时候加的、依赖哪个脚本、失败了怎么回滚。

# /etc/cron.d/backup-db
# 用途:每日 03:20 全备 MySQL,保留 7 天
# 依赖:/opt/scripts/backup_db.sh,日志 /var/log/backup_db.log
# 回滚:注释掉本文件即可,不影响其他任务
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
20 3 * * * root /opt/scripts/backup_db.sh >> /var/log/backup_db.log 2>&1

用 /etc/cron.d/ 而不是 crontab -e 的好处是:它多一个「用户」字段(上面那行的 root),每行是独立的,可以用 diff 对比,可以拆成多个文件按需启停。停掉一个任务就是把文件加个 .disabled 后缀,比在 crontab 里注释掉一行直观得多。

小站运维的真相是:你不会有 SRE 团队,也不会有告警中心。你能做的就是让每一个自动化动作都可查、可停、可回滚。cron 是一把每天都开火的枪,花半小时把它记录清楚,比出事后熬夜查三天划算得多。

Last modification:November 16th, 2026 at 10:29 pm

Leave a Comment