awk 结构化文本处理实战：字段模型、关联数组与 Nginx 日志统计的分层模板全流程

Author： zz1984
发布时间：October 16, 2026
16 views
No comments
10249 字数
Categories：技术教程

为什么运维绕不开 awk

很多人第一次接触 awk，是在服务器上想从一大坨日志里抠出某个字段的时候。你可能已经会 grep 过滤行、会 sed 替换文本，但一旦需求变成「按第三列求和」「统计每个 IP 出现了多少次」「把日志按小时聚合」，grep 和 sed 就力不从心了，因为它们本质上是「行处理」工具，而 awk 是「字段处理」工具。

awk 把每一行自动切成若干列（字段），你可以直接引用 $1、$2、$3，配上一套「模式 + 动作」的语法，几十个字符就能完成一段原本要写几十行 Python 才能搞定的统计。对于个人站长和运维来说，它是处理 access.log、统计接口耗时、清洗 CSV 数据、生成报告的最低成本工具——服务器上几乎一定预装了 gawk 或 mawk，不需要装任何东西。

这篇文章不讲教科书式的语法大全，而是围绕运维真实场景，把 awk 的字段模型、内置变量、聚合统计、条件过滤、多文件处理这几个核心能力讲透，最后给出一套可以直接抄用的日志分析模板。

核心心智模型：记录、字段与「模式-动作」

awk 程序的结构永远是同一个骨架：

pattern { action }

它会逐行读取输入，对每一行（称为一条记录 record），判断是否匹配 pattern；如果匹配，就执行花括号里的 action。省略 pattern 表示「每一行都执行」，省略 action 表示「打印整行」。

默认情况下，awk 用「空白字符」（空格和 Tab）作为分隔符，把每行拆成字段，依次存进 $1、$2、$3……而 $0 永远代表整行原文，NF 表示当前行的字段总数，NR 表示当前处理到第几行（Number of Records），即使跨多个文件也不重置。

# 每行字段数不同，NF 就是这一行的列数
awk '{ print NR, NF, $1, $NF }' file.txt

这里 $NF 有个非常实用的技巧：它永远表示「最后一列」，不管这行有多少列。处理格式不规整的日志时，取最后一列往往能拿到最干净的那个字段（比如耗时、状态码、URL）。

字段分隔符：-F 与 FS，处理 CSV 和自定义日志

真实的服务器日志很少是纯空白分隔的。Nginx 默认日志里，时间戳是 [10/Oct/2026:13:20:31 +0800] 这种带方括号和冒号的形式，如果是用 -F 指定分隔符，就能精准切出来。命令行上用 -F，或者在程序里设置 FS：

# 冒号分隔（如 /etc/passwd）
awk -F: '{ print $1, $3 }' /etc/passwd

# 多个分隔符：-F 后跟方括号里的字符集，任意一个都算分隔符
awk -F'[ /:]' '{ print $4, $5 }' access.log

处理 CSV 时要注意一个经典陷阱：CSV 里的字段值本身可能包含逗号（被引号包起来），awk 的 -F, 会把引号里的逗号也当成分隔符，导致错位。真正稳健的 CSV 解析应该用 FPAT（字段模式）而不是 FS：

# FPAT 直接描述「一个字段长什么样」：引号包裹的，或非逗号的连续字符
awk -v FPAT='([^,]*)|("[^"]+")' '{ print $2 }' data.csv

这是 awk 相比「用逗号切割」更高级的地方：FS 描述分隔符，FPAT 描述字段本身，后者对脏数据更鲁棒。

内置变量：一张速查表

把下面这些变量记熟，awk 就掌握了一大半：

$0 整行；$1..$N 第 N 个字段；$NF 最后一个字段
NF 当前行字段数（NumberOf Fields）
NR 当前处理的记录序号（跨文件累计）
FNR 当前文件内的记录序号（换文件从 1 重新计）
FS 输入字段分隔符；OFS 输出字段分隔符（默认空格）
RS 输入记录分隔符（默认换行）；ORS 输出记录分隔符
FILENAME 当前文件名

OFS 用来控制 print 时多个字段之间的连接符。很多人写 print $1","$2 手动拼逗号，其实更优雅的方式是设 OFS：

awk -F: 'BEGIN{ OFS="," } { print $1, $3 }' /etc/passwd

FNR 则是区分多文件的利器。当你想在每个文件开头打印一行分隔标题，可以用 FNR==1 作为 pattern：

awk 'FNR==1 { print "===== " FILENAME " =====" } { print }' *.log

BEGIN 与 END：聚合统计的关键

awk 有两个特殊模式块：BEGIN 在处理任何输入之前执行一次，END 在所有输入处理完之后执行一次。它们让 awk 天然适合做「累加」和「汇总」——变量在行处理阶段不断累加，最后在 END 里一次性输出。

# 统计日志里所有请求的总耗时（假设最后一列是毫秒）
awk '{ sum += $NF } END { print "总耗时:", sum, "平均:", sum/NR, "ms" }' access.log

这个模式是 awk 的看家本领。相比用 grep 数行数再心算，awk 能在一次遍历里同时算出总和、均值、最大值、最小值：

awk '
{
  sum += $NF
  if (NR==1 || $NF > max) max = $NF
  if (NR==1 || $NF < min) min = $NF
}
END {
  printf "条数=%d 总和=%d 均值=%.2f 最大=%d 最小=%d\n", NR, sum, sum/NR, max, min
}' access.log

注意 if (NR==1 || ...) 这个写法的必要性：如果初始化 max=0，那么当所有耗时都小于 0（不太可能）或都是负数时结果会错。用「第一行直接赋值」的写法更稳妥，这是很多老运维的习惯。

关联数组：按维度分组统计

awk 最强大的特性之一是关联数组（associative array）。它跟 Python 的 dict 一样，用任意字符串作键。这让你能做「按 IP 统计访问次数」「按小时统计流量」这类分组聚合，而完全不需要写循环查重：

# 统计每个 IP 的访问次数，按出现顺序输出
awk '{ count[$1]++ } END { for (ip in count) print count[ip], ip }' access.log

这里 count[$1]++ 是精髓：awk 数组在引用未定义键时会自动初始化为空（数值上下文里就是 0），所以 ++ 第一次就是 1。一行代码搞定计数器。

要按访问次数排序输出（awk 本身不排序），传统做法是管道给 sort：

awk '{ count[$1]++ } END { for (ip in count) print count[ip], ip }' access.log \
  | sort -rn | head -20

但如果想完全用 awk 排序（避免管道），gawk 提供了 asort() 和 PROCINFO["sorted_in"]。下面这行可以直接让 for in 按值倒序迭代，非常干净：

gawk 'BEGIN{ PROCINFO["sorted_in"]="@val_num_desc" }
      { count[$1]++ }
      END { for (ip in count) print count[ip], ip }' access.log

注意 PROCINFO["sorted_in"] 只在 gawk 里有效，mawk 不支持。服务器上先用 awk --version 确认版本。

实战模板一：Nginx access.log 分层分析

假设 Nginx 用的是 combined 格式，字段大致是：$1 客户端IP、$7 请求行（方法、路径、协议）。下面几个模板可以直接抄：

# 1. 请求量 Top 20 的 URL（剔除查询串，只看路径）
awk '{ print $7 }' access.log | awk -F'?' '{ print $1 }' | sort | uniq -c | sort -rn | head -20

# 2. 用一次 awk 完成：按路径聚合计数
awk '{ path=$7; sub(/\?.*/, "", path); cnt[path]++ }
     END { for (p in cnt) print cnt[p], p }' access.log \
  | sort -rn | head -20

# 3. 统计 4xx/5xx 比例（假设 $9 是状态码）
awk '{ if ($9 ~ /^[45]/) bad++; total++ }
     END { printf "总请求=%d 错误=%d 错误率=%.2f%%\n", total, bad, bad*100/total }' access.log

# 4. 找出响应最慢的 10 个请求（假设 $NF 是 upstream 耗时秒数）
awk '{ print $NF, $7 }' access.log | sort -rn | head -10

模板 2 里的 sub(/\?.*/, "", path) 是很典型的 awk 用法：sub 对字段做替换，把问号后面的查询串删掉，避免 /article?id=1 和 /article?id=2 被算成两个不同路径。

实战模板二：把日志按小时聚合

Nginx 日志的时间戳在 $4，形如 [10/Oct/2026:13:20:31。想统计每小时请求量，用冒号和斜杠做分隔符切出小时数：

awk -F'[:[]' '{ hour = $5; cnt[hour]++ }
     END { for (h in cnt) print h, cnt[h] }' access.log | sort

如果要统计「每个小时里各状态码的分布」，就上二维关联数组，用 SUBSEP 连接两个键：

awk -F'[:[]' '{ key = $5 SUBSEP $10; cnt[key]++ }
     END {
       for (k in cnt) {
         split(k, a, SUBSEP)
         printf "%s时 状态%s: %d\n", a[1], a[2], cnt[k]
       }
     }' access.log

SUBSEP 是一个不可见字符（默认 ASCII 0x1C），专门用于把多个维度拼成一个键、之后再 split 拆开解析——这是 awk 模拟多维数组的标准做法，比用字符串拼接更安全（不会和字段内容里的分隔符冲突）。

条件过滤与正则匹配

awk 的 pattern 可以是条件表达式、正则、或两者的组合。几个高频写法：

# 状态码是 500 的行
awk '$9 == 500' access.log

# 路径包含 /api/ 的行（正则匹配 ~，取反用 !~）
awk '$7 ~ /\/api\//' access.log

# 耗时超过 1 秒且状态码非 200（多个条件用 && ||）
awk '$NF > 1 && $9 != 200 { print $7, $9, $NF }' access.log

# 行号范围：只看第 100 到 200 行
awk 'NR>=100 && NR<=200' access.log

# 字段为空则跳过（避免除零、避免脏行）
awk '$9 != "" { total++ }' access.log

正则里的斜杠需要转义 \/，这是初学 awk 最容易踩的坑之一。另外 ~ 是「匹配」，!~ 是「不匹配」，别写反了。

字段的增删改：重新计算 $0

awk 允许直接给字段赋值，赋值后整行 $0 会被自动重建。这在「删掉某一列」「在中间插入一列」时非常方便：

# 删掉第 3 列（把 $3 置空，$0 自动重算，多余空格会被 OFS 规范化）
awk 'BEGIN{OFS="\t"} { $3=""; $1=$1; print }' data.tsv

# 注意 $1=$1 这个惯用法：它强制 awk 用 OFS 重新拼接 $0
# 否则仅仅 $3="" 可能不会立刻反映到 $0 上

$1=$1 这个看起来多余的赋值，是 awk 里一个著名惯用法——它「触碰」了字段，促使 awk 重建 $0，从而让 OFS 生效。很多人调不出正确的输出就是因为漏了这一步。

与 sort、uniq 的配合：管道里的 awk

awk 处理「关联聚合」，sort/uniq 处理「排序去重」，两者是黄金搭档。统计日志里独立访客数、去重 URL 数这类需求：

# 独立 IP 数
awk '{ print $1 }' access.log | sort -u | wc -l
# 其实 awk 自己就能做，不用 sort -u：
awk '!seen[$1]++ { print $1 }' access.log | wc -l

# 统计每个 URL 的去重 UA 数？不，更常见的是找重复行
awk '{ lines[$0]++ } END { for (l in lines) if (lines[l] > 1) print lines[l], l }' file

awk '!seen[$1]++' 是「去重」的经典一行：第一次见到的键 seen[$1] 从空变 0，!0 为真，于是打印；之后再见到，计数非零，!非零 为假，跳过。这个惯用法比 sort -u 更快，因为不需要排序，且保留了原始顺序。

多文件处理与单行脚本合并

把多个日志文件一起丢给 awk，它会按顺序处理，NR 累计、FNR 重置、FILENAME 指示来源。想跨文件统计全局 Top IP，直接 awk '{...}' *.log 即可。

如果要在「某个特定文件」上做特殊处理，用 FILENAME 判断：

awk 'FILENAME ~ /today/ { cnt++ } END { print cnt }' /var/log/nginx/*.log

另外，awk 支持用 -f 加载脚本文件，把长脚本从命令行里解放出来，避免引号地狱——这在写复杂报告脚本时强烈建议：

cat > /usr/local/bin/nginx_stats.awk <<'EOF'
{ path=$7; sub(/\?.*/,"",path); cnt[path]++; status[$9]++ }
END {
  print "== 状态码分布 =="
  for (s in status) printf "  %s: %d\n", s, status[s]
  print "== Top 路径 =="
  n = asorti(cnt, sorted, "@val_num_desc")
  for (i=1; i<=10 && i<=n; i++) print "  " cnt[sorted[i]] "  " sorted[i]
}
EOF
awk -f /usr/local/bin/nginx_stats.awk /var/log/nginx/access.log

常见坑与排查清单

awk 版本差异：Debian/Ubuntu 默认可能是 mawk，不支持 gensub()、asort()、PROCINFO、FPAT。脚本要跨机器跑就显式 #!/usr/bin/awk -f 并在文档里注明依赖 gawk，或者 apt-get install gawk。
数字与字符串比较：awk 默认按「字符串 vs 数字」的规则比较。$1 == 10 在 $1 是 "10" 时可能因上下文不同而表现不一致，必要时用 $1+0 == 10 强制数值。
正则里的斜杠和反斜杠：/ 要写成 \/，点号 . 在正则里是「任意字符」，要匹配真正的点必须写 \.。IP 里的点、域名里的点都容易漏转义。
大文件内存：关联数组是把所有键存内存里的，统计上千万行日志的「所有独立 URL」可能吃爆内存。超过几百万唯一键时改用 sort | uniq -c 走磁盘。
中文与多字节：mawk 对 UTF-8 的多字节字符支持不好，substr 可能切断汉字。处理中文日志用 gawk，并设 LC_ALL=C.UTF-8。
print 与 printf 混用时会话：printf 不自动换行，别忘了在格式串末尾加 \n，否则所有输出会挤成一行。

检查清单：把 awk 加进你的日常

如果你平时只用 grep 和 sed，可以用下面这份清单自检，看看哪些场景其实应该用 awk：

需要「按某一列」做统计、求和、求平均 → awk
需要按某个维度（IP、小时、状态码）分组计数 → awk 关联数组
需要在某个条件下打印部分字段而不是整行 → awk 的 pattern + print $N
需要去重但保留顺序 → awk '!seen[$0]++'
需要删掉或重排某几列 → awk 字段赋值 + OFS
需要一次性算出多组指标（count/max/min/sum） → awk 的 BEGIN/END

awk 的学习曲线其实很平：记住「字段模型 + BEGIN/END + 关联数组」这三件事，就能覆盖运维场景里 90% 的文本统计需求。它不追求取代 Python，但在「一条命令就要出结果」的临时排查里，几乎没有对手。把这些模板存成一个 ~/bin/*.awk 目录，下次做日志分析时直接 awk -f 调用，效率会有肉眼可见的提升。

Last modification：October 16th, 2026 at 09:26 pm

awk 结构化文本处理实战：字段模型、关联数组与 Nginx 日志统计的分层模板全流程

zz1984 • 2026 年 10 月 16 日

为什么运维绕不开 awk

核心心智模型：记录、字段与「模式-动作」

awk 程序的结构永远是同一个骨架：

pattern { action }

# 每行字段数不同，NF 就是这一行的列数
awk '{ print NR, NF, $1, $NF }' file.txt

字段分隔符：-F 与 FS，处理 CSV 和自定义日志

# 冒号分隔（如 /etc/passwd）
awk -F: '{ print $1, $3 }' /etc/passwd

# 多个分隔符：-F 后跟方括号里的字符集，任意一个都算分隔符
awk -F'[ /:]' '{ print $4, $5 }' access.log

# FPAT 直接描述「一个字段长什么样」：引号包裹的，或非逗号的连续字符
awk -v FPAT='([^,]*)|("[^"]+")' '{ print $2 }' data.csv

这是 awk 相比「用逗号切割」更高级的地方：FS 描述分隔符，FPAT 描述字段本身，后者对脏数据更鲁棒。

内置变量：一张速查表

把下面这些变量记熟，awk 就掌握了一大半：

$0 整行；$1..$N 第 N 个字段；$NF 最后一个字段
NF 当前行字段数（NumberOf Fields）
NR 当前处理的记录序号（跨文件累计）
FNR 当前文件内的记录序号（换文件从 1 重新计）
FS 输入字段分隔符；OFS 输出字段分隔符（默认空格）
RS 输入记录分隔符（默认换行）；ORS 输出记录分隔符
FILENAME 当前文件名

OFS 用来控制 print 时多个字段之间的连接符。很多人写 print $1","$2 手动拼逗号，其实更优雅的方式是设 OFS：

awk -F: 'BEGIN{ OFS="," } { print $1, $3 }' /etc/passwd

FNR 则是区分多文件的利器。当你想在每个文件开头打印一行分隔标题，可以用 FNR==1 作为 pattern：

awk 'FNR==1 { print "===== " FILENAME " =====" } { print }' *.log

BEGIN 与 END：聚合统计的关键

# 统计日志里所有请求的总耗时（假设最后一列是毫秒）
awk '{ sum += $NF } END { print "总耗时:", sum, "平均:", sum/NR, "ms" }' access.log

这个模式是 awk 的看家本领。相比用 grep 数行数再心算，awk 能在一次遍历里同时算出总和、均值、最大值、最小值：

awk '
{
  sum += $NF
  if (NR==1 || $NF > max) max = $NF
  if (NR==1 || $NF < min) min = $NF
}
END {
  printf "条数=%d 总和=%d 均值=%.2f 最大=%d 最小=%d\n", NR, sum, sum/NR, max, min
}' access.log

关联数组：按维度分组统计

# 统计每个 IP 的访问次数，按出现顺序输出
awk '{ count[$1]++ } END { for (ip in count) print count[ip], ip }' access.log

这里 count[$1]++ 是精髓：awk 数组在引用未定义键时会自动初始化为空（数值上下文里就是 0），所以 ++ 第一次就是 1。一行代码搞定计数器。

要按访问次数排序输出（awk 本身不排序），传统做法是管道给 sort：

awk '{ count[$1]++ } END { for (ip in count) print count[ip], ip }' access.log \
  | sort -rn | head -20

但如果想完全用 awk 排序（避免管道），gawk 提供了 asort() 和 PROCINFO["sorted_in"]。下面这行可以直接让 for in 按值倒序迭代，非常干净：

gawk 'BEGIN{ PROCINFO["sorted_in"]="@val_num_desc" }
      { count[$1]++ }
      END { for (ip in count) print count[ip], ip }' access.log

注意 PROCINFO["sorted_in"] 只在 gawk 里有效，mawk 不支持。服务器上先用 awk --version 确认版本。

实战模板一：Nginx access.log 分层分析

假设 Nginx 用的是 combined 格式，字段大致是：$1 客户端IP、$7 请求行（方法、路径、协议）。下面几个模板可以直接抄：

# 1. 请求量 Top 20 的 URL（剔除查询串，只看路径）
awk '{ print $7 }' access.log | awk -F'?' '{ print $1 }' | sort | uniq -c | sort -rn | head -20

# 2. 用一次 awk 完成：按路径聚合计数
awk '{ path=$7; sub(/\?.*/, "", path); cnt[path]++ }
     END { for (p in cnt) print cnt[p], p }' access.log \
  | sort -rn | head -20

# 3. 统计 4xx/5xx 比例（假设 $9 是状态码）
awk '{ if ($9 ~ /^[45]/) bad++; total++ }
     END { printf "总请求=%d 错误=%d 错误率=%.2f%%\n", total, bad, bad*100/total }' access.log

# 4. 找出响应最慢的 10 个请求（假设 $NF 是 upstream 耗时秒数）
awk '{ print $NF, $7 }' access.log | sort -rn | head -10

实战模板二：把日志按小时聚合

Nginx 日志的时间戳在 $4，形如 [10/Oct/2026:13:20:31。想统计每小时请求量，用冒号和斜杠做分隔符切出小时数：

awk -F'[:[]' '{ hour = $5; cnt[hour]++ }
     END { for (h in cnt) print h, cnt[h] }' access.log | sort

如果要统计「每个小时里各状态码的分布」，就上二维关联数组，用 SUBSEP 连接两个键：

awk -F'[:[]' '{ key = $5 SUBSEP $10; cnt[key]++ }
     END {
       for (k in cnt) {
         split(k, a, SUBSEP)
         printf "%s时 状态%s: %d\n", a[1], a[2], cnt[k]
       }
     }' access.log

条件过滤与正则匹配

awk 的 pattern 可以是条件表达式、正则、或两者的组合。几个高频写法：

# 状态码是 500 的行
awk '$9 == 500' access.log

# 路径包含 /api/ 的行（正则匹配 ~，取反用 !~）
awk '$7 ~ /\/api\//' access.log

# 耗时超过 1 秒且状态码非 200（多个条件用 && ||）
awk '$NF > 1 && $9 != 200 { print $7, $9, $NF }' access.log

# 行号范围：只看第 100 到 200 行
awk 'NR>=100 && NR<=200' access.log

# 字段为空则跳过（避免除零、避免脏行）
awk '$9 != "" { total++ }' access.log

正则里的斜杠需要转义 \/，这是初学 awk 最容易踩的坑之一。另外 ~ 是「匹配」，!~ 是「不匹配」，别写反了。

字段的增删改：重新计算 $0

awk 允许直接给字段赋值，赋值后整行 $0 会被自动重建。这在「删掉某一列」「在中间插入一列」时非常方便：

# 删掉第 3 列（把 $3 置空，$0 自动重算，多余空格会被 OFS 规范化）
awk 'BEGIN{OFS="\t"} { $3=""; $1=$1; print }' data.tsv

# 注意 $1=$1 这个惯用法：它强制 awk 用 OFS 重新拼接 $0
# 否则仅仅 $3="" 可能不会立刻反映到 $0 上

与 sort、uniq 的配合：管道里的 awk

awk 处理「关联聚合」，sort/uniq 处理「排序去重」，两者是黄金搭档。统计日志里独立访客数、去重 URL 数这类需求：

# 独立 IP 数
awk '{ print $1 }' access.log | sort -u | wc -l
# 其实 awk 自己就能做，不用 sort -u：
awk '!seen[$1]++ { print $1 }' access.log | wc -l

# 统计每个 URL 的去重 UA 数？不，更常见的是找重复行
awk '{ lines[$0]++ } END { for (l in lines) if (lines[l] > 1) print lines[l], l }' file

多文件处理与单行脚本合并

把多个日志文件一起丢给 awk，它会按顺序处理，NR 累计、FNR 重置、FILENAME 指示来源。想跨文件统计全局 Top IP，直接 awk '{...}' *.log 即可。

如果要在「某个特定文件」上做特殊处理，用 FILENAME 判断：

awk 'FILENAME ~ /today/ { cnt++ } END { print cnt }' /var/log/nginx/*.log

另外，awk 支持用 -f 加载脚本文件，把长脚本从命令行里解放出来，避免引号地狱——这在写复杂报告脚本时强烈建议：

cat > /usr/local/bin/nginx_stats.awk <<'EOF'
{ path=$7; sub(/\?.*/,"",path); cnt[path]++; status[$9]++ }
END {
  print "== 状态码分布 =="
  for (s in status) printf "  %s: %d\n", s, status[s]
  print "== Top 路径 =="
  n = asorti(cnt, sorted, "@val_num_desc")
  for (i=1; i<=10 && i<=n; i++) print "  " cnt[sorted[i]] "  " sorted[i]
}
EOF
awk -f /usr/local/bin/nginx_stats.awk /var/log/nginx/access.log

常见坑与排查清单

awk 版本差异：Debian/Ubuntu 默认可能是 mawk，不支持 gensub()、asort()、PROCINFO、FPAT。脚本要跨机器跑就显式 #!/usr/bin/awk -f 并在文档里注明依赖 gawk，或者 apt-get install gawk。
数字与字符串比较：awk 默认按「字符串 vs 数字」的规则比较。$1 == 10 在 $1 是 "10" 时可能因上下文不同而表现不一致，必要时用 $1+0 == 10 强制数值。
正则里的斜杠和反斜杠：/ 要写成 \/，点号 . 在正则里是「任意字符」，要匹配真正的点必须写 \.。IP 里的点、域名里的点都容易漏转义。
大文件内存：关联数组是把所有键存内存里的，统计上千万行日志的「所有独立 URL」可能吃爆内存。超过几百万唯一键时改用 sort | uniq -c 走磁盘。
中文与多字节：mawk 对 UTF-8 的多字节字符支持不好，substr 可能切断汉字。处理中文日志用 gawk，并设 LC_ALL=C.UTF-8。
print 与 printf 混用时会话：printf 不自动换行，别忘了在格式串末尾加 \n，否则所有输出会挤成一行。

检查清单：把 awk 加进你的日常

如果你平时只用 grep 和 sed，可以用下面这份清单自检，看看哪些场景其实应该用 awk：

需要「按某一列」做统计、求和、求平均 → awk
需要按某个维度（IP、小时、状态码）分组计数 → awk 关联数组
需要在某个条件下打印部分字段而不是整行 → awk 的 pattern + print $N
需要去重但保留顺序 → awk '!seen[$0]++'
需要删掉或重排某几列 → awk 字段赋值 + OFS
需要一次性算出多组指标（count/max/min/sum） → awk 的 BEGIN/END

为什么运维绕不开 awk

核心心智模型：记录、字段与「模式-动作」

字段分隔符：-F 与 FS，处理 CSV 和自定义日志

内置变量：一张速查表

BEGIN 与 END：聚合统计的关键

关联数组：按维度分组统计

实战模板一：Nginx access.log 分层分析

实战模板二：把日志按小时聚合

条件过滤与正则匹配

字段的增删改：重新计算 $0

与 sort、uniq 的配合：管道里的 awk

多文件处理与单行脚本合并

常见坑与排查清单

检查清单：把 awk 加进你的日常

相关文章