journalctl 实战:持久化、按服务与优先级筛选、把日志当操作审计用

日记文件都被轮转了,却查不到上周那次重启

有次排查一个「网站半夜中断了十分钟」的问题,我去看 /var/log/nginx/access.log,发现只有最近两天的内容;去看 /var/log/syslog,只到前天凌晨。原因是 logrotate 按天轮转,我只保留了 7 份,但那次中断是十天前的事。最后是靠 journalctl 才捞回了线索。

这引出本篇的核心认识:现代 Linux 上有两套互相独立的日志系统。一套是传统的「文本文件 + logrotate」,rsyslog 把消息写进 /var/log/*.log;另一套是 systemd-journald,把结构化日志写进 /var/log/journal/ 的二进制文件。同一个事件可能两边都有,也可能只有一边有。只查一半,等于盲人摸象。

这篇讲的是 journald 这套体系的实用部分:日志存在哪、怎么按时间/服务/优先级筛、为什么重启后日志「没了」、怎么控制磁盘占用,以及怎么把它当成一次操作审计来用。

两套日志的分工,先理清楚

动手之前要知道去哪找。我整理过一张对照表,排查时按这个走最快:

内核消息(OOM、磁盘错误、网卡 up/down):journalctl -k,或 /var/log/kern.log、dmesg。dmesg 只保留本次开机的环形缓冲,重启就清;journald 是持久的(如果配了持久化)。

服务启动/停止/崩溃:journalctl -u 服务名。这是 journald 最强的地方——它把 stdout/stderr 自动归到服务名下,不需要程序自己写日志文件。Nginx 的错误日志除外,Nginx 是直接写文件的。

登录与会话:journalctl _COMM=sshd,或 last/lastb//var/log/auth.log。

应用日志:如果应用自己写了文件(PHP 的 error_log、MySQL 的 error log),journald 里看不到;反过来,如果应用用 systemd 托管且不做日志重定向,它的输出只在 journald 里。

# 判断 journald 是否持久化(关键!)
ls -d /var/log/journal 2>/dev/null && echo "持久化:重启后日志还在" \
  || echo "非持久化:日志在 /run/log/journal,重启即丢"

# 看 journal 占了多少磁盘
journalctl --disk-usage

如果输出是「非持久化」,那就是本篇最值得先修的一件事:你的日志在天上,重启一次全没了。Debian/Ubuntu 有些镜像默认不建 /var/log/journal,于是 journald 退化成内存日志。

mkdir -p /var/log/journal
systemd-tmpfiles --create --prefix /var/log/journal
systemctl restart systemd-journald
# 验证
journalctl --disk-usage    # 应该显示一个 Path: /var/log/journal/... 的路径

journalctl 的筛选语法:优先级最高的是时间

journalctl 的默认输出是「全部、从旧到新(分页)」。真正好用的是筛选,而优先级排序是这样的:

1. 时间范围,永远先限时间,否则输出几万行没法看:

journalctl --since '2026-11-10 03:00' --until '2026-11-10 04:00'
journalctl --since '2 hours ago'
journalctl --since yesterday --until today
journalctl --since '-30min'          # 相对写法,排查当下问题时最顺手

注意 --since 和 --until 是左闭右闭,而且必须用引号,否则空格会让 shell 把时间拆成两个参数。

2. 单位,锁定是哪个服务:

journalctl -u nginx --since '-1h'
journalctl -u php8.1-fpm -u mysql --since today    # 多个 -u 是「或」关系
journalctl -u nginx --since today -p err           # 只要错误及以上

3. 优先级,-p 后面跟级别:0=emerg、1=alert、2=crit、3=err、4=warning、5=notice、6=info、7=debug。-p err 表示「err 及以上」(数字越小越严重),不是「只要 err」。这是最常被误解的一个参数。

journalctl -p 3 --since today          # err/crit/alert/emerg
journalctl -p warning -u nginx         # 告警及以上

4. 字段匹配,这是 journald 独有的、比 grep 强的地方。它存的不是文本行而是结构化条目,每个条目带一堆字段,可以精确匹配:

# 只看 sshd 的认证失败
journalctl _COMM=sshd --since today | grep -i 'failed'

# 按 PID 追一个进程的全部输出(进程重启后 PID 变了就断了)
journalctl _PID=18342

# 按可执行文件路径
journalctl /usr/sbin/nginx --since today

# 列出所有可用字段(第一次用时值得看一遍)
journalctl -N

5. 输出格式,这是排查的放大器:

journalctl -u mysql -o json-pretty --since '-10min' | head -50
journalctl -u nginx -o short-precise --since '-5min'   # 微秒级时间戳
journalctl -u nginx -o cat --since '-5min'             # 去掉前缀,只剩消息(配 grep 用)
journalctl -u nginx -o verbose --since '-5min' | head -30  # 看全部字段

-o cat 尤其好用:默认输出带了时间、主机、进程名,用它 grep 出来的结果很乱;-o cat 只留消息本身,配合 awk/sort/uniq 做统计非常干净。

把日志当审计用:三个必查的场景

journald 不只是「看报错」,它是排查事故的时间线来源。我固定用三个查询,每周至少跑一次。

场景一:谁在什么时候动了服务。重启、停止、重新加载都会留痕。这是判断「是不是有人手动重启过」的唯一可靠方法:

journalctl --since '7 days ago' \
  | grep -E 'Stopped|Started|Reloaded|Stopping|Starting' \
  | grep -E 'nginx|php|mysql' | tail -40

如果一条中断事故的时间点,能对上某次 Stopped php8.1-fpm,那问题就从「玄学」变成了「某次操作」。再顺着时间找那几分钟前后有没有 sudo、sshd 的记录,就能定位到人和命令。

场景二:登录与提权。这是安全审计的核心,而 /var/log/auth.log 经常被轮转掉,journald 里反而更全:

# 成功的 SSH 登录
journalctl -u ssh --since '7 days ago' | grep -i 'Accepted'

# 失败的登录(按 IP 聚合,看暴力破解源)
journalctl -u ssh --since '7 days ago' | grep -i 'Failed password' \
  | grep -oE 'from [0-9.]+' | sort | uniq -c | sort -rn | head -20

# sudo 的使用记录
journalctl --since '7 days ago' | grep -i 'sudo' | tail -30

第二个查询是我最喜欢的一条。sort | uniq -c | sort -rn 出来的那几行,如果某个 IP 有几百次失败,那就是在爆破。对策不是封 IP(会换),而是关掉密码登录、只留密钥——这是根治。

场景三:崩溃与 OOM。内核杀进程时,journald 也会收到那份内核消息,journalctl -k 里能找到完整的前因后果,比 dmesg 更可靠(dmesg 重启就丢):

journalctl -k --since '7 days ago' | grep -i -E 'killed process|out of memory|segfault'
journalctl --since '7 days ago' -p err | tail -50

顺带一个抓 coredump 的技巧:如果服务被 SIGSEGV 杀了,systemd-coredump 会自动接管并把栈存下来,用 coredumpctl list 看列表,coredumpctl info 服务名 看详情,coredumpctl debug 直接进 gdb。这个比翻日志精确得多,OOM 和段错误的区别一眼就能分清。

控制磁盘占用:journal 也会把盘吃满

journald 有自动清理,但默认策略宽松:它会在磁盘占用超过文件系统容量的 10% 时才清理,而且保留到 SystemMaxUse 之下。一台 40G 的机器,理论上 journal 可以涨到 4G。加上某些服务输出疯狂(比如一个不断打印调试信息的应用),几天就能吃掉几个 G。

# /etc/systemd/journald.conf
[Journal]
Storage=persistent
SystemMaxUse=500M          # 硬上限,超过就删旧的
SystemKeepFree=1G          # 至少给文件系统留这么多空
SystemMaxFileSize=50M      # 单个文件上限
MaxRetentionSec=30day      # 时间上限
# 注意:SystemMaxUse 和 SystemKeepFree 同时生效时,取更严格的那个

改完 systemctl restart systemd-journald,然后手动清一次让配置立即生效:

journalctl --vacuum-size=500M      # 立即压到 500M 以内
journalctl --vacuum-time=30d       # 或按时间清
journalctl --disk-usage            # 确认

还有一个坑:不要用 rm 删 /var/log/journal 下的文件。那些是 systemd 管理的归档文件,直接删会留下索引不一致,journalctl 会报 Failed to open files 或者干脆看不到旧日志。--vacuum 才是官方途径。真的清空了也别慌,用 journalctl --rotate 让当前文件封存,再 vacuum。

另外要区分一个特别常见的误解:journald 和 rsyslog 是并存的,不是替代关系。Debian/Ubuntu 默认两者都装,所以同一个消息会同时出现在 /var/log/syslog 和 journal 里,磁盘上占了两份。如果只想要一套,可以关掉 rsyslog(systemctl disable --now rsyslog),但很多工具和脚本还依赖 /var/log/*.log 的存在,我一般保留 rsyslog,只把 journal 的 SystemMaxUse 压小,两边都有但都不大。

在故障排查里的实际用法:一条时间线

真正的价值不是单个命令,而是把多个来源拼成一条时间线。下面这次是我真实处理过的一次「网站 500 持续 6 分钟」的复盘过程,四个命令就定位了。

# 第一步:确定 500 的确切时间窗(从 Nginx 访问日志)
awk '$9==500 {print $4}' /var/log/nginx/access.log | tail -5

# 第二步:同一时间窗,PHP-FPM 说了什么
journalctl -u php8.1-fpm --since '2026-11-10 03:12' --until '2026-11-10 03:20' -o cat

# 第三步:内核层面有没有异常(OOM / 磁盘 / 网络)
journalctl -k --since '2026-11-10 03:10' --until '2026-11-10 03:25'

# 第四步:有没有人在这个时间点动了什么
journalctl --since '2026-11-10 03:00' --until '2026-11-10 03:30' \
  | grep -E 'sudo|systemd\[1\]|crontab|Started|Stopped'

那次的结果是:第三步发现 kernel: nf_conntrack: table full, dropping packet,第二步看到 PHP-FPM 的连接超时,第四步看到那个时间点没有任何人操作。根因是 conntrack 表在流量高峰被打满,Nginx 与上游之间的新连接被丢弃,表现为 500。如果是靠单个日志文件,这三条线索不会关联到一起。

所以我把这套四个命令写成了一个小脚本,事故发生时改两个时间参数就能跑:

#!/bin/bash
# /usr/local/bin/triage.sh  用法:triage.sh "03:10" "03:30"
set -uo pipefail
S=$(date +%F)" $1"; U=$(date +%F)" $2"
echo "=== 1. 高优先级错误 ==="
journalctl -p warning --since "$S" --until "$U" -o cat | sort | uniq -c | sort -rn | head -20
echo "=== 2. 内核 ==="
journalctl -k --since "$S" --until "$U" -o short-precise
echo "=== 3. 服务变更 ==="
journalctl --since "$S" --until "$U" | grep -E 'Started|Stopped|Reloaded|sudo' | tail -30
echo "=== 4. coredump ==="
coredumpctl list --since "$S" 2>/dev/null | tail -10

第一条的 sort | uniq -c 是精髓:同一条错误刷了几百次时,聚合后一眼就能看出「最主要的那一个问题是什么」,而不是被十几条无关警告淹没。

集中管理:一个人管多台机器怎么办

如果手上不止一台机器,逐台 SSH 去 journalctl 会很低效。有三档做法,按投入从小到大:

第一档:远程直接查。最土但零成本,一条命令遍历主机列表:

for h in s1 s2 s3; do
  echo "===== $h ====="
  ssh "$h" "journalctl -p err --since '-2h' -o cat | tail -20"
done

注意在某些系统上,非 root 用户读系统 journal 需要加入 systemd-journal 组(usermod -aG systemd-journal deploy),否则只能看到自己的日志。

第二档:rsyslog 转发。把各机器的日志转到一个中心机的文件里,这需要保留系统原有的 rsyslog,加一个转发规则即可。好处是文件可以直接 grep,坏处是丢掉了 journald 的结构化字段。

第三档:journald 的 systemd-journal-remote。能把远端 journal 原样(结构化)收集过来,日志查看仍然用 journalctl --machine=。这是「既想统一又想保留字段」的答案,配置量中等,值得多机场景投入一次。

我的实际选择是第二档 + 第三条的 triage 脚本:中心机存一份按主机分文件的文本日志(用于 grep 和留证),单机排障仍然用 journalctl(用于结构化筛选)。两者不冲突。

检查单

把上面所有内容收成一份可执行的清单,按顺序做:

1. 确认持久化。ls -d /var/log/journal,没有就建;这是所有后续操作的前提,否则重启后什么都没了。

2. 设上限。SystemMaxUse=500M、SystemKeepFree=1G,重启 journald,journalctl --disk-usage 确认。

3. 记住四个筛选项。时间(--since)、单位(-u)、级别(-p 3)、字段(_COMM=、_PID=)。

4. 记住三个格式。-o cat 配 grep、-o short-precise 看时序、-o json-pretty 看全字段。

5. 每周跑三个审计查询。服务启停、SSH 失败聚合、内核错误。三个查询加起来不到一行命令,但能提前发现爆破、崩溃和篡改。

6. 用 vacuum 清理,不要 rm。journalctl --rotate && journalctl --vacuum-size=500M。

7. 事故时按四步走。定时间窗 → 查服务 → 查内核 → 查操作人。四步的顺序不要颠倒,因为前一步为后一步提供时间边界。

小结

journald 的价值不在于「多了一个看日志的命令」,而在于三件事:它是持久的(前提是配置了持久化)、它是结构化的(能按服务/PID/优先级精确筛)、它和内核与服务管理器是同源的(能把应用错误和内核事件对齐到同一条时间线)。传统的 /var/log/*.log 依然要用——Nginx、MySQL、PHP 自己的日志在文件里更完整——但出事故时,先开 journalctl 定时间线,再去文件里看细节,这个顺序能省掉大量瞎猜的时间。

Last modification:November 15th, 2026 at 12:24 pm

Leave a Comment