一、先说结论:404 日志该怎么分层看
站点跑上一年之后,服务器访问日志里 404 的比例会稳定在百分之三到百分之八之间。这个比例本身不算异常,异常的是它的构成:如果里面有大量本该存在的静态资源、有一批因为大小写不一致而失败的图片、还有已经开始被搜索引擎反复抓取的死链,那么这些 404 就不只是噪音,而是正在持续消耗抓取配额、拉低页面质量的真实损失。
处理 404 的正确姿势不是「一条条修」,也不是「全部 301 到首页」,而是先分层再分别处置。我把它分成五层:静态资源层、被外部引用的死链层、内部链接写错层、搜索引擎已抓取层、以及攻击与探测层。每一层的判据不同,修法也完全不同,混在一起处理会把简单问题复杂化。
以下所有命令都在 Nginx 环境下验证过,日志格式假设为默认的 combined,如果你改了 log_format,把 $request 与 $status 的位置对应调整即可。整套流程不需要任何付费工具,纯 grep、awk 与 sort 就能完成。
二、把 404 从日志里完整捞出来
第一步是把最近一周的 404 单独抽成一个文件。这里有两个细节:一是日志可能已经被 logrotate 切过,需要用 zcat 一起处理压缩文件;二是要带上时间戳,因为后面判断「是不是被搜索引擎抓的」需要时间维度,去掉时间就判断不了。
抽出来的文件建议放在 /tmp 下,按天分文件,别直接堆成一个大文件。一个日访问量十万的站点,一周的 404 行数通常在几千到几万之间,文件不大,处理起来很快。如果你的站点在 CDN 后面,还要确认 Nginx 记的 $remote_addr 是真实 IP 还是 CDN 回源 IP,否则后面所有按 IP 聚合的结论都会错。
# 把最近七天的 404 抽出来(含被压缩的历史日志)
zcat -f /var/log/nginx/access.log* 2>/dev/null | awk '$9 == 404' > /tmp/404_all.txt
wc -l /tmp/404_all.txt
# 按请求路径聚合成 TOP 50,先看最痛的那批
awk '{print $7}' /tmp/404_all.txt | sort | uniq -c | sort -rn | head -50
看到 TOP 50 之后不要急着动手,先把它们按扩展名分一遍。这个动作能立刻把噪音和真问题分开:以 .php、.html、.htm 结尾的基本是内容页死链,以 .jpg、.png、.css、.js 结尾的是静态资源缺失,而不带扩展名的往往是被探测的后台路径。
三、第一层:静态资源 404,最该优先修的一类
静态资源 404 的危害被严重低估。一个页面引用了五个不存在的图片,浏览器会发起五次失败请求,这五次请求会进入访问日志、进入 CDN 的回源统计,也会进入搜索引擎的抓取队列。更麻烦的是,它们通常出现在图片搜索的结果里,形成「搜到了但打不开」的体验问题。
这类 404 的成因高度集中:一是上传时文件名含中文或空格,URL 编码后与服务器上的实际文件名不一致;二是主题或插件升级后旧路径失效;三是在 Windows 上编辑过的文件名带了大写字母,而 Linux 文件系统区分大小写;四是图片被迁移到了对象存储或 CDN,旧路径没有做映射。
# 静态资源 404 按扩展名统计
grep -E '\.(jpg|jpeg|png|gif|webp|svg|css|js|woff2?|ico)$' /tmp/404_all.txt \
| awk '{print $7}' | sed 's/.*\.//' | sort | uniq -c | sort -rn
# 找出被引用最多的那几张缺失图
grep -E '\.(jpg|png|webp)$' /tmp/404_all.txt | awk '{print $7}' \
| sort | uniq -c | sort -rn | head -20
修法按成本从低到高排:先在服务器上补上原文件(能用备份找回最好),其次在 Nginx 层加一条映射把旧路径指到新路径,最后才是改文章正文里的引用。改正文是最慢也最容易漏的,因为一篇文章里的图片路径可能出现在正文、缩略图、结构化数据三处。
顺便把「引用不存在资源」这件事变成发版前的自动检查。做法很简单:抓取新发布页面的 HTML,提取所有 src 与 href,逐条 curl -I 看状态码,非 200 的列出来。这个脚本用五十行 shell 就能写完,接在发布流程后面,能把绝大多数静态资源 404 挡在上线之前。
四、第二层:被外部引用、但本地已删除的页面
这一类最容易被忽略:页面在站内早就删了,但其他站点、论坛、社交平台上的链接还指着它。日志里的表现是同一个路径被不同来源反复请求,Referer 字段是外部域名,请求频率不高但很稳定,能持续好几个月。
判断方法是在 404 日志里看 Referer 这一列。默认 combined 格式里 Referer 是倒数第二列(后面还有 User-Agent),用 awk 取 $(NF-1),过滤出非本站域名的那些行,再按路径聚合。如果某个路径有几十个不同外部来源,那它就是被广泛引用的旧页面。
# 只看外站引来的 404,去掉自身的 Referer
awk '$(NF-1) !~ /zz1984\.com/ && $(NF-1) != "\"-\"" {print $7, $(NF-1)}' /tmp/404_all.txt \
| sort | uniq -c | sort -rn | head -30
处置有三个选项,按内容是否有替代来判断。如果删掉的页面有主题相同的新页面,做 301 跳转过去,这是最优解,能把外链权重接住;如果内容确实不再提供,用 410 明确告知已删除,比 404 更快让搜索引擎停止抓取;如果只是路径变了,那就是纯映射问题,加一条 rewrite 解决。
最不该做的是「所有 404 都 301 到首页」。这种做法在搜索引擎眼里等同软 404,Google 的文档里明确说过批量重定向到首页会被当作无效处理,百度也会把这种行为判为作弊嫌疑。宁可保留 404 状态码,也不要把无关页面往首页塞。
另外要注意,external 引用的旧路径往往带着参数。比如 /post.php?id=123 这种动态路径,聚合时要先把参数去掉,不然同一个页面会因为参数不同被统计成几十条。
五、第三层:内部链接写错,从源头掐掉
内部链接导致的 404 是最该修也最容易修的一类,因为它们全都在你自己的控制之下。日志里的特征是 Referer 是本站域名,而且同一个错误路径的 Referer 集中在少数几篇文章里,说明是那几篇文章的链接写错了。
最常见的四种写错方式:站内链接写成了绝对 URL,换域名后全部失效;链接里的中文没有做 URL 编码;链接末尾多了一个斜杠或者少了一个斜杠;复制粘贴时把标题里的特殊字符带进去了。这四种都能通过一次全站扫描找出来。
# 从数据库里找出所有站内链接,检查是否指向不存在的路径
mysqldump --no-create-info --skip-extended-insert zz1984 typecho_contents \
| grep -oE 'href=[^ >]+' | sed -e 's/href=//' -e 's/.\(.\)$/\1/' | sort -u \
| grep -E '^https?://www\.zz1984\.com/' > /tmp/internal_links.txt
# 逐条判活,只看非 200 的
while read -r u; do
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 "$u")
[ "$code" != "200" ] && echo "$code $u"
done < /tmp/internal_links.txt
这个脚本跑起来慢,几百条链接要几分钟,但它的价值在于一次性把全站的内链问题摊开。跑完之后你会得到一张清单,按错误类型分组,然后批量用 SQL 更新或编辑器替换即可。建议每季度跑一次,因为新文章还在不断产生新的错链。
修内链时要注意一件事:改完之后搜索引擎需要重新抓取才能更新索引,不是改完立刻生效。所以修完要主动提交一次 sitemap,并在 Search Console 里对几个关键页面手动请求抓取,加快更新节奏。
六、第四层:搜索引擎已经抓到的死链
这一层决定了 404 对你的 SEO 有多大实际影响。同样是 404,一个从没被搜索引擎发现过的,危害为零;一个被 Google 抓取过十次、且每次都返回 404 的,会持续消耗抓取预算,并且在 Search Console 的覆盖率报告里累积成需要处理的条目。
判断方法是把 404 日志里的 User-Agent 按爬虫分类,看哪些路径被 Googlebot、Bingbot、Baiduspider 访问过且状态是 404。这一层不能靠猜,因为爬虫的 UA 和真人 UA 差别很大,而且很多冒充爬虫的请求 UA 写得很像。
# 被搜索引擎抓到的 404 路径
grep -iE 'googlebot|bingbot|baiduspider' /tmp/404_all.txt \
| awk '{print $7}' | sort | uniq -c | sort -rn | head -40
# 反向验证:真爬虫的 IP 归属,避免被假爬虫误导
grep -i 'googlebot' /tmp/404_all.txt | awk '{print $1}' | sort -u | head -20
被真爬虫抓到的 404,处置原则和上一节一样:能映射就 301,内容已删就 410,路径写错就修内链。区别在于时效要求更高,因为爬虫会反复来,长期返回 404 的路径会拖累整站的抓取效率。
还有个细节值得注意:一部分 404 其实是被爬虫抓到的「参数变体」。比如分页参数超出了实际页数、筛选参数组合出了空结果,这些路径对用户和爬虫都没有价值,正确做法是在页面层面对超出范围的分页返回 404,或者在 robots 里用参数规则屏蔽,而不是让它一直 200。
七、第五层:探测与攻击流量,不要当死链修
最后一层是完全不该处理的那部分:机器人扫后台、扫漏洞、扫配置文件。它们的特征是路径高度随机、频率极高、UA 经常是空的或者伪造的、并且集中在少数几个 IP 上。
这一层千万不要去「修」,也不要去 301 到某个页面,因为那等于告诉扫描器这个路径存在。正确做法是在 Nginx 层直接返回 444(关闭连接,不回任何响应),并配合 limit_req 限速。对这类流量最好的处理是让它看不到任何反馈。
# 找出高频扫描源
awk '$9 == 404 {print $1}' /tmp/404_all.txt | sort | uniq -c | sort -rn | head -20
# Nginx 层直接掐断,不给任何响应
location ~* /(wp-admin|wp-login|\.env|\.git|phpmyadmin) {
return 444;
}
判断某个 IP 是不是扫描器,看两个数:它的 404 数量与实际成功请求数的比值,以及它的请求路径多样性。正常用户的 404 占比很低,扫描器的 404 占比往往超过八成。
八、把 404 变成一项可观测指标
上面五层处理完之后,最有价值的动作是把 404 纳入日常监控,而不是等积累几百条再回头处理。建议每周固定的三个数字:404 总请求数、其中静态资源 404 的数量、其中真爬虫抓到的数量。前两个数字上升说明有东西坏了,第三个数字上升说明索引层面出了问题。
这三个数字用一条 crontab 就能算出来,结果同时写进日志和发到自己的邮箱。曲线的意义大于绝对值:某天数量突然翻倍,一定是某个版本发出去带了坏链接。
# 每周报告:三个数字落盘
d=$(date +%F)
total=$(zcat -f /var/log/nginx/access.log* | awk '$9 == 404' | wc -l)
static=$(zcat -f /var/log/nginx/access.log* | awk '$9 == 404' | grep -cE '\.(jpg|png|css|js)$')
bot=$(zcat -f /var/log/nginx/access.log* | awk '$9 == 404' | grep -ciE 'googlebot|bingbot')
echo "$d total=$total static=$static bot=$bot" >> /var/log/404_weekly.log
最后是取舍:如果你时间有限,只修静态资源 404 与被真爬虫抓到的 404 这两类,能覆盖八成实际损失。外站引用与内链错误次之,扫描探测完全不用管。把有限的维护时间花在这两层,回报最直接。