journald 不只是看日志:认证记录、服务重启与内核证据的审计用法

一、先把「日志看得见」这件事本身修好

过去两年我给十几个小站做过故障排查,最容易在半夜翻车的地方,不是 nginx 配置写错了,而是事发之后发现日志根本没有。应用在跑,访问也正常,但只要重启一次,所有线索就随之消失。所以任何安全审计的前提都不是「查得多深」,而是「有没有东西可查」。

systemd 的 journald 默认行为有两个坑需要先关掉。第一是持久化:多数发行版的 /etc/systemd/journald.conf 里 Storage=auto,只有在 /var/log/journal 目录存在时才写盘,否则全放 /run/log/journal —— 那是 tmpfs,机器一重启就清零。第二是容量:默认 SystemMaxUse= 取 /var/log/journal 所在分区容量的 10%,看起来不多,但一台 40G 系统盘的小机器就是 4G,日志里塞了高频错误时一天就能撑满。

修改很简单,但改完必须显式建目录,否则 Storage=persistent 在某些旧版本上仍然不生效。

mkdir -p /var/log/journal
sed -i 's/^#\?Storage=.*/Storage=persistent/' /etc/systemd/journald.conf
cat >> /etc/systemd/journald.conf <<'EOF'
SystemMaxUse=500M
SystemMaxFileSize=50M
MaxRetentionSec=90day
EOF
systemctl restart systemd-journald
journalctl --disk-usage
journalctl -b -1 --no-pager | head -20

最后一条命令是验收动作:-b -1 表示上一次性启动的日志。如果你在重启机器之前就跑它,输出里的时间戳应该和本次启动之前吻合;如果报 No such boot ID in journal,说明持久化没有真正生效。这一条比看配置文件本身可靠得多。

二、为什么「有 journal 就不用 syslog 了」是错的

journald 是一个二进制存储层,不是完整的日志系统。它做的事是「收集 + 索引 + 轮转」,不做「转发 + 中央存储 + 按文件抓取」。这带来一个非常现实的问题:几乎所有现成的日志分析工具,包括 fail2ban、goaccess、awstats、nginx 的访问分析脚本,都是按纯文本文件读的。你把 nginx access log 直接送进 journald,那些工具就全部失效了,因为它们读不到 /var/log/nginx/access.log 了。

更麻烦的是取证。事故发生时第一件要做的事是把日志拷到别的地方去,一个能被 rsync 直接拉走的文本文件,和一个可能正在被写、需要 journalctl --output=export 才能导出的二进制文件,实操难度差一个量级。

所以我的做法是分两层,各管各的:业务日志(nginx、PHP、应用自定义日志)继续写文本文件,由 logrotate 管轮转与压缩,方便 grep 和工具消费;系统层日志(服务启停、认证、内核 OOM、cron 执行)交给 journald,方便按时间线还原一次事故发生前后发生了什么。两层的分界线是「这条日志会不会某个工具需要按行读」,会就是文本,不会就是 journald。

过渡期常见的错误是把同一个服务同时配 StandardOutput=journal 和 StandardOutput=append:/var/log/x.log 两条,结果日志重复,量翻倍,还得分清哪份是完整的。两条同时开启时以最后一条为准,前面的会被静默忽略 —— 这种「配了却不生效」的问题,光看配置文件的字面意思根本看不出来,必须 systemctl show 服务名 -p StandardOutput 回读实际生效值。

三、认证日志:从 root 登录看异常访问

一个公网服务器,SSH 端口上每小时几百次爆破是常态,看 Failed password 只看数量没有意义。真正有价值的是成功登录以及成功登录之前的失败模式。下面这几条是我每次接手一台新机器的固定动作。

journalctl -u ssh -u sshd --since "7 days ago" --no-pager | grep -E 'Accepted|Failed' | tail -50
journalctl -u ssh --since today --no-pager | grep -c 'Failed password'
journalctl -u ssh --since today --no-pager | grep 'Accepted' | awk '{print $(NF-3), $(NF-5)}' | sort | uniq -c | sort -rn | head
last -n 30

第二条给的是失败总量,用来做趋势对比 —— 记住「平时每天多少」,翻了三倍才值得看一眼。第三条的字段位置会随 sshd 版本变化,我一般先 grep 'Accepted' | head -2 看清格式再定 awk 的字段号,别照抄网上的 $11。输出应该是「来源 IP + 认证方式」的分布,如果出现一个你完全没见过的 IP,那就是第一优先级的调查对象。

还有一个比 log 更硬的信号:认证日志里有 session opened for user root 而当时你并没有登录。journald 会记录 session-.scope 的开始和结束,loginctl list-sessions 能看当前会话,两者对不上就是有东西在伪装。

值得单独提一句 sudo。sudo 的每条命令默认也会进 auth log,包括失败的尝试:

journalctl _COMM=sudo --since "30 days ago" --no-pager | grep -E 'COMMAND=|NOT in sudoers' | tail -30

_COMM 是 journald 的内置字段,比 -u 更精确,因为 sudo 是 PAM 调用而不是常驻服务,某些系统上它根本没有自己的 unit。凡是出现 NOT in sudoers,说明有个非白名单用户在尝试提权 —— 要么是你自己忘了加配置,要么是有人在探路,两种都值得当天弄明白。

四、服务重启记录:谁在什么时候动过系统

排查「服务莫名其妙挂了」时,最省时间的一步是看它最后一次是谁、以什么方式启动的。systemctl status 会给出最后一次启动时间和退出码,但历史记录只保留最近几次;完整的启停序列在 journal 里。

journalctl -u nginx --since "3 days ago" --no-pager | grep -E 'Started|Stopped|Failed|Main PID'
systemctl show nginx -p NRestarts -p ExecMainStartTimestamp -p ExecMainStatus
journalctl -u nginx -p err --since "3 days ago" --no-pager | tail -40

NRestarts 是很多人不知道的一个字段:它记录了这个服务被 systemd 自动重启了多少次。数值在缓慢增长,说明服务在反复崩溃后被拉起,而 systemctl status 恰恰显示 active (running),看起来一切正常。ExecMainStatus 是最后一次退出的状态码,137 表示被 SIGKILL(通常是 OOM),1 表示应用自己报错退出。这两个数字组合起来能立刻区分「被系统杀掉」和「自己退出」。

另外注意 -p err 是日志优先级过滤,不是「只看错误」。journald 的优先级从 0 到 7,0 是 emerg、3 是 err、7 是 debug;-p err 表示「3 及更严重」,即 0-3。如果你想要 info 及以上,用 -p info,这个语义方向别搞反。很多 nginx 的错误日志其实是 notice 级别,用 -p err 会漏掉。

五、内核与 OOM:不在这台机器上也能查到的证据

进程半夜被杀,最常见原因是 OOM killer。这件事的证据链非常完整,前提是你知道去哪个字段找。

journalctl -k --since "2 days ago" --no-pager | grep -E 'Out of memory|Killed process|oom-kill'
journalctl -k -p err --since "2 days ago" | tail

-k 等价于 _TRANSPORT=kernel,只取内核消息。确认是否真的 OOM,看关键字 oom-kill:constraint= 那一行的 task= 和 total-vm=,再看后面 Killed process (<命令名>),两处进程名一致才算坐实。

内核日志还有一个独有的优势:它包含 journald 之外的证据。比如磁盘 I/O 错误(blk_update_request: I/O error)、网卡丢包(eth0: link down)、TCP 连接被拒(nf_conntrack: table full, dropping packet)。conntrack 表满这个错误特别隐蔽:表现为「站点时好时坏、新连接建不上」,但 nginx 和 PHP 的日志里一条错误都没有,因为请求根本没到应用层。这种情况只能从内核日志里看出来。

还有一类是服务重启后的问题,比如 systemd[1]: nginx.service: Start request repeated too quickly。这条的意思是服务在短时间内被重启超过 StartLimitBurst 次(默认 5 次 / 10 秒),systemd 判定它坏了,直接拒绝再拉起。此时 systemctl start 会返回成功但服务不启动,必须先 systemctl reset-failed nginx。这个坑我在两批文章里都踩过,属于「日志里明明写了原因但没人往下读」的典型。

六、日志审计的四个固定动作

所谓「把日志当审计用」,不是每天读一遍日志(没人做得到),而是把问题固化成四条可以直接跑的命令,每周执行一次,看有没有非零输出。

第一条,新增的 systemd unit。攻击者落地后常做的事是加一个开机自启的 service 或 timer。对比今天的 unit 列表和上周的备份:

systemctl list-units --type=service --state=enabled --no-pager --no-legend | awk '{print $1}' | sort > /var/lib/audit/enabled-$(date +%F).txt
comm -23 /var/lib/audit/enabled-$(date +%F).txt /var/lib/audit/enabled-$(date -d '7 days ago' +%F).txt

输出为空是正常的。有输出就逐条看 systemctl cat 名字,确认 ExecStart 指向的二进制路径是不是你认识的。

第二条,cron 与 systemd timer 的新增。cron 的执行记录在 journal 里:journalctl -u cron --since "7 days ago" | grep CMD(Debian 系是 cron,RHEL 系是 crond)。把实际执行过的命令列表,和 /etc/cron.d、crontab -l、/etc/crontab 里的定义对照,出现「执行了但定义里没有」的条目就是最硬的证据。

第三条,用户与权限变更。journalctl _COMM=useradd --since "30 days ago"、journalctl -u ssh --grep=Accepted 加上 /etc/passwd 的 mtime 检查。ls -l --time-style=full-iso /etc/passwd /etc/shadow /etc/sudoers,这三个文件的时间戳如果在最近一周内被改过而你并没有操作,必须查清。

第四条,异常的重启与关机。journalctl --list-boots 会列出所有保留的启动记录,正常情况下每天或每几天一条。出现两条时间只隔几分钟的记录,说明机器在短时间内重启过两次,可能是崩溃也可能是有人在重置环境。

七、把日志送到第二台机器

所有上面的分析都有一个共同前提:日志还在本机。而入侵取证的第一原则恰恰是攻击者有 root 就能改日志。所以真正的审计级配置必须有一份异地副本,不需要实时,每天一次就够。

最简单可靠的方案是 rsync 到另一台机器,缺点是「当天的日志可能已经被清掉」。要补齐这个窗口,用 systemd-journal-upload 把日志流式推到一台中央 journald 上:

apt install systemd-journal-remote
systemctl enable --now systemd-journal-remote.socket
# 在被采集的机器上:
mkdir -p /etc/systemd/journal-upload.conf.d
printf '[Upload]\nURL=http://loghost:19532\n' > /etc/systemd/journal-upload.conf.d/10-url.conf
systemctl enable --now systemd-journal-upload

这一步的价值不在「实时」,而在「攻击者删不掉」。即便对方拿到 root 把本机 journal 清空,中央机器上仍有完整的认证失败与登录成功序列,能还原出他从哪个 IP、在哪个时间点、用了什么用户进来的。日志量不大的小站,一条 500M 的保留策略足够存三个月。

需要注意的是这套东西本身也会消耗资源,低配机器上如果日志高峰时把带宽打满,反而影响业务。我的做法是只上传认证类与内核类日志(journald 支持按 _TRANSPORT 过滤),业务日志走 rsync,两条通道分开。

八、检查单与判断取舍

把上面所有内容压缩成一张可以贴在显示器边上的清单:

每周(5 分钟)
  journalctl --disk-usage                 # 是否逼近上限
  journalctl -k -p err --since "7 days ago" | tail   # 内核有无新错误
  journalctl --list-boots                 # 有无意外重启
  comm -23 今天的 enabled 列表 一周前的   # 有无新增 unit
每月(30 分钟)
  journalctl _COMM=sudo --since "30 days ago" | grep 'NOT in sudoers'
  journalctl -u ssh --since "30 days ago" | grep Accepted | 统计来源分布
  ls -l --time-style=full-iso /etc/passwd /etc/shadow /etc/sudoers
  验证第二台机器上的副本是否持续在收

最后说一个判断上的取舍。市面上的「日志审计」方案从 ELK 到商业 SIEM,功能一层套一层,但对一个人维护的小站来说,真正能救命的只有两件事:一是日志不会因为重启而消失,二是有一份攻击者拿不到的副本。这两个目标用 journald 持久化加一次 rsync 就能达成,总共不到 30 行配置。

至于日志的检索能力、可视化面板、告警规则,都属于「锦上添花」,而且它们全都建立在日志本身完整的基础上。我见过太多人花两天搭起 Grafana 面板,却让 systemd 的 Storage 保持默认值 —— 面板再漂亮,机器一重启,上面显示的历史数据全部归零。先把地基铺好,再谈上层,这个顺序在小站运维里几乎没有例外。

Last modification:November 15th, 2026 at 10:26 pm

Leave a Comment