别再用一行 grep 翻日志:把访问日志查询做成可复用的命令行工具

一、先想清楚:命令行看日志,看的到底是什么

个人站长手里一般只有一台或几台机器,装不上 ELK,也不见得愿意为日志平台单独买一台 8G 的机器。日常要回答的问题其实很有限:昨天的访问量是多少、哪些 URL 被爬虫抓得最多、有没有人在刷接口、上一次发版之后 5xx 有没有增加。这四个问题,SSH 上去用 grep、awk 加上几个管道就能答完,而且当场出结果,不用等数据管道跑完。

难点不在会不会写命令,而在两件事:一是记住命令以后,下次还得重新查;二是临时拼出来的单行命令没有边界,包含空格、引号、中文的日志字段一进来就解析错位。这篇文章不教语法,而是把我在自己站点上反复用到的日志查询固化成一个有参数、有错误处理、能反复调用的小工具,并讲清楚为什么不用一句 grep 解决。

本文使用的样本是 Nginx 默认的 combined 格式,一行大概长这样(为篇幅省略部分字段):

10.0.3.17 - - [17/Nov/2026:09:12:44 +0800] "GET /tech/2251.html HTTP/1.1" 200 18234 "-" "Mozilla/5.0 (compatible; Googlebot/2.1)" 0.082

注意这里有空格分隔的字段,也有引号包裹的字段(请求行、referer、UA),最后可能还附加了 request_time。后面所有解析逻辑都要围绕这个结构来设计,而不是简单地按空格切。

二、为什么单行 grep 走不远

先用最朴素的命令。统计昨天的 5xx:

grep " 50[0-9] " /var/log/nginx/access.log | wc -l

这条命令有三个隐患。第一,它匹配的是整行任意位置出现 " 50x " 的地方,如果 UA 里恰好带这种字符串就会误计。第二,日志已经轮转成 access.log.1、access.log.2.gz 的时候它只看当前文件。第三,也是最重要的:它只给了一个数字,没有告诉你是哪些 URL、来自哪些 IP,真出事时还是得再查一遍。

再看一条按状态码聚合的:

awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head

$9 取状态码,在 combined 格式下确实对。但只要你在 log_format 里多加一个字段放在前面,或者用户请求的 URL 里带空格(未编码的 URL 其实不合规,但现实里会遇到),列号就会错位。这类脚本在换了日志格式当天就会静默给出错误结果,比报错更危险。

结论是:不要依赖列号,而是用正则把一行拆成命名字段。慢一点点,但换格式时不会骗你。

三、一行日志的解剖:字段、时间与时区

拆字段之前先解决时间。Nginx 的 $time_local 是服务端本地时间,日志里带 +0800 时区偏移。如果你在 awk 里直接做字符串比较来筛「今天」,就必须自己拼出 17/Nov/2026 这种格式,还要考虑月底跨月、跨年的边界。更稳的做法是把时间转成 epoch 再比较,而转换函数的输入必须带上原始时区,否则一台 UTC 机器会把晚上八点后的日志算到「昨天」。

month_map = {'Jan':1,'Feb':2,'Mar':3,'Apr':4,'May':5,'Jun':6,
             'Jul':7,'Aug':8,'Sep':9,'Oct':10,'Nov':11,'Dec':12}

def to_epoch(dt_str, tz_str):
    # dt_str: 17/Nov/2026:09:12:44  tz_str: +0800
    d, mon, rest = dt_str.split('/')
    y, hms = rest.split(':')[0], ':'.join(rest.split(':')[1:])
    hh, mm, ss = (int(x) for x in hms.split(':'))
    sign = 1 if tz_str[0] == '+' else -1
    off = sign * (int(tz_str[1:3]) * 3600 + int(tz_str[3:5]) * 60)
    t = time.mktime((int(y), month_map[mon], int(d), hh, mm, ss, 0, 0, -1))
    return int(t - off - time.timezone)

这段代码里有个容易忽略的点:time.mktime 假定输入是本地时间,所以要先把偏移减掉。服务器时区设置正确时它和 time.timezone 配合是对的;如果服务器在 UTC 而你想按北京时间切片,就把偏移改成固定值。日志分析工具错了时区,做出来的日报会一直偏,而你不会立刻发现,因为数字看起来总是差不多。

四、把规则拆成配置:三种查询与参数约定

我给自己定了三条最常用的查询,其余都是它们的变体:按状态码看分布、按 URL 看热点、按 IP 看异常。工具入口用子命令,参数用 argparse 收,输入文件可以是单个文件也可以是 glob,压缩文件用 gzip 透明读。

#!/usr/bin/env python3
import argparse, glob, gzip, os, re, sys
from collections import Counter

LINE_RE = re.compile(
    r'^(?P[0-9a-fA-F:.]+) \S+ \S+ '
    r'\[(?P[^\]]+)\] '
    r'"(?P[A-Z]+) '
    r'(?P[^"]*?) '
    r'HTTP/[0-9.]+" '
    r'(?P\d{3}) (?P\d+|-) '
    r'"(?P[^"]*)" "(?P[^"]*)"'
)

def read_lines(patterns):
    for pat in patterns:
        for fn in sorted(glob.glob(pat)):
            op = gzip.open if fn.endswith('.gz') else open
            with op(fn, 'rt', errors='replace') as fh:
                for line in fh:
                    yield fn, line.rstrip('\n')

def parse(line):
    m = LINE_RE.match(line)
    return m.groupdict() if m else None

用命名字段的好处马上能体现:输出报表时直接写 m['status'],不需要记住第几列;遇到解析失败的行(脚本注入的畸形请求、日志被截断的最后一行)返回 None,主循环里计数并单独打印前几条,既不会崩也不会悄悄丢数据。

参数约定上我坚持两点:一是所有时间参数统一用 --since、--until 接收 YYYY-MM-DD 或 YYYY-MM-DDTHH:MM,不接受「3 天前」这种模糊表述,模糊表述在不同人对齐时必然吵起来;二是输出默认是纯文本表格,加 --json 才是机器可读格式,方便以后接到 cron 里发邮件。

五、状态码报表:分布、趋势与 5xx 的 URL 归属

第一个子命令是 status。它做三件事:按状态码计数、按天(或按小时)分组看趋势、对 4xx 和 5xx 列出 Top URL。

def cmd_status(rows, args):
    total, codes, by_day, bad_url = 0, Counter(), Counter(), Counter()
    for m in rows:
        total += 1
        codes[m['status']] += 1
        day = m['ts'][:11].replace('/', '-')
        by_day[(day, m['status'][0] + 'xx')] += 1
        if m['status'].startswith(('4', '5')):
            bad_url[(m['status'], m['path'])] += 1
    print('total', total)
    for c, n in codes.most_common():
        print(f'{c}  {n:8d}  {n * 100.0 / total:5.2f}%')
    print('\n-- 4xx/5xx top --')
    for (c, p), n in bad_url.most_common(args.top):
        print(f'{c}  {n:6d}  {p[:100]}')

看报表时有几个判据值得记住。正常情况下 200 应占九成以上,304 主要来自静态资源,占比取决于缓存策略,不算异常。5xx 超过千分之一就该看具体 URL 了;如果某个 PHP 接口的 502 集中在一分钟内发生,多半是 PHP-FPM 重启或 max_children 打满,不是代码问题。4xx 里 404 增长要区分是爬虫抓旧链接还是站内链接写错,把 UA 一起打出来就能分出人还是机器。

统计的时候一定要把机器人流量和真实用户分开算,否则一次全站爬取会把所有比例都搅乱。做法很简单:加一条 UA 正则,命中常见蜘蛛 UA 的计入 bot 分组,报表两边并列输出。

六、路径报表:把动态 URL 归一化才能看出真热点

直接按 path 计数的问题在于,带参数的 URL 会被拆成几万条各自为战的记录:/search?q=a、/search?q=b 是同一类页面。所以第二个子命令 path 在计数之前先归一化。

def normalize(path):
    p = path.split('#')[0]
    p, _, qs = p.partition('?')
    # 数字段统一成 :n,UUID 段统一成 :id
    p = re.sub(r'/\d+(?=/|$)', '/:n', p)
    p = re.sub(r'/[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}', '/:id', p)
    if qs:
        keys = sorted(k.split('=')[0] for k in qs.split('&'))
        p += '?' + '&'.join(k + '=' for k in keys)
    return p

归一化之后的报表才能回答「哪一类页面最受欢迎」。我在自己站点上的经验是,文章详情页的 PV 通常只占三四成,剩下大部分是静态资源和各类列表页;如果不归一化,你会看到一堆 /p/1234 之类的单条记录,误以为流量分散,其实只是规则没写对。

不过归一化也会带来误导:把所有数字段都替换成 :n 之后,分类页和文章页如果 URL 结构相似,就会被合并成一类。所以工具支持 --keep-digits 参数保留原始路径,对比两版报表后再决定用哪个。

七、IP 报表与异常识别:刷接口、扫描器与真爬虫

第三个子命令 ip,除了 Top N 之外,我加了三列派生指标:请求总数、4xx 占比、平均响应时间(日志末尾带 request_time 时才有)。这三列一起看,判别能力比单看请求数强得多。

def cmd_ip(rows, args):
    agg = {}
    for m in rows:
        a = agg.setdefault(m['ip'], [0, 0, 0.0, 0])
        a[0] += 1
        if m['status'].startswith(('4', '5')):
            a[1] += 1
        if m.get('rt'):
            a[2] += float(m['rt']); a[3] += 1
    rank = sorted(agg.items(), key=lambda kv: -kv[1][0])[:args.top]
    for ip, (n, bad, s, c) in rank:
        avg = s / c if c else 0
        print(f'{ip:20s} req={n:7d} bad={bad * 100.0 / n:5.1f}% avg={avg:.3f}s')

判据是这样的:单个 IP 一天几千请求、404 占七成以上,基本是扫描器在探测后台路径和备份文件;4xx 很低但请求量很大且 URL 集中在接口上,可能是被脚本刷了;请求数高但 UA 是 Googlebot 或 bingbot 且 200 为主,那是真抓取,不该封,应该看抓取预算花在了哪些页面。这里的关键是先分类再处置,上来就丢进防火墙黑名单,很可能把正常爬虫或自己的监控一起封掉。

另外提醒一点:如果站点在 CDN 后面,日志里的 remote_addr 是 CDN 节点 IP,你必须用 real_ip_header 配上可信代理段,否则 IP 报表全是节点地址,一条都有用不了。改完之后用同一份日志重新跑一遍,确认 IP 数量从个位数变成几百上千,才算生效。

八、把工具装进日常:cron、保留策略与自检

工具写完不用起来等于没写。我把它放在 /usr/local/bin/logq,每天早上一封邮件,内容是昨天与前天的对比:总请求数、5xx 数、Top 5 的 5xx URL、Top 10 IP。用 cron 调用时要注意环境差异:PATH 短、没有 LANG,中文日志的路径可能直接报错,所以脚本里显式设置 LC_ALL=C.UTF-8,并且所有路径写绝对路径。

SHELL=/bin/bash
LC_ALL=C.UTF-8
17 7 * * * root /usr/local/bin/logq status --since $(date -d yesterday +\%F) /var/log/nginx/access.log.1 | mail -s "zz log daily" me@example.com

crontab 里的百分号必须转义成 \% ,这是 cron 自己的规则,不转义会把命令行提前截断,表现出来是任务跑了但参数不对。这条坑我在最早的版本里踩过一次,邮件里永远只统计当天,直到改日志格式才发现。

保留策略也要一起定:日志本身交给 logrotate 管,access.log 保留 14 天,压成 .gz 后体积通常只剩十分之一;报表结果我单独存到 /var/log/logq/YYYY-MM.md,只留 90 天,这样半年后回看某个时间点发生了什么,不用去翻已经被轮转掉的原始日志。最后加一个自检:如果某天解析失败率超过百分之五,就在邮件标题前面加 [WARN],因为那说明日志格式被改过,报表数字不可信了。

九、小结:工具化的边界

这类工具的价值不在于命令多花哨,而在于把判断标准写死在代码里:什么算异常、什么算爬虫、比例怎么归一化,一旦定下来,每天的报表就是可比的。临时拼命令的报表每次口径都略有不同,三个月后你无法回答「这个月比上个月好还是坏」。

也不用担心功能不够。真正需要全文检索、字段聚合、可视化的场景,等日志量过百万行一天再考虑 Loki 或 ClickHouse 也不迟,那时你已经清楚自己要什么字段、什么粒度的报表,迁移反而是件简单的事。先用一个小脚本把日常问题回答清楚,比先搭一套平台更接近解决问题的顺序。

Last modification:November 18th, 2026 at 07:26 pm

Leave a Comment