被爬得体无完肤:从访问日志分辨真假爬虫、AI 抓取与盗链流量

一、一个网站目录里,到底哪些东西正在被别人抓

个人站长对「被爬」这件事往往有两种极端反应:一种是完全不管,直到某天带宽账单暴涨或者数据库被灌满垃圾评论;另一种是上来就写几条 Disallow,把所有疑似路径全封掉,结果连自己站内搜索的页面、图片资源都进了黑名单,收录量当月掉三成。

要做出正确的判断,得先搞清楚一件事:爬虫来抓你,动机完全不同。至少有五类抓取器在看你的站点,它们要的东西、能接受的节奏、被封之后的后果,全都不一样。把它们混为一谈,是 robots.txt 和访问日志一起做错事的根源。

这五类是:搜索引擎主爬虫(Googlebot、Bingbot、Baiduspider)、搜索引擎的辅助抓取器(图片、视频、AdSense 广告内容匹配)、AI 训练与问答爬虫(GPTBot、ClaudeBot、PerplexityBot)、聚合与订阅类(RSS 阅读器、各类内容聚合站)、以及最麻烦的一类——不带任何身份、伪装 UA 或干脆裸奔的采集脚本。

这篇文章只讲一件事:怎样用你自己的访问日志,把这几类流量分清楚,再针对性地处理。不涉及任何「反爬系统」的采购,一台普通 VPS 加几条 Nginx 规则就够。

二、从 UA 里先做一次粗分,认清它的不可靠

访问日志里最直接的身份线索是 User-Agent。一条命令就能按 UA 归类出主要来源:

awk -F'"' '{print $6}' /var/log/nginx/access.log \
  | sed -E 's#chrome/[0-9.]+#chrome/VER#g; s#safari/[0-9.]+#safari/VER#g' \
  | sort | uniq -c | sort -rn | head -30

这里用 -F'"' 直接按双引号切分,第 6 段就是 UA 字段(前提是你的日志格式里 referer 与 UA 是引号包裹的,这也是为什么上一篇里建议用引号包裹可变字段)。如果不切引号而用空格切分,UA 里自带的空格会把它切成七八段,字段号全乱。

结果里通常能看到明显的几堆:Googlebot/2.1、bingbot/2.0、Baiduspider、facebookexternalhit、各种 RSS 阅读器(Feedly、Inoreader、Tiny Tiny RSS),以及大量同一模板的浏览器 UA。用 grep -i 单独统计几个关键 UA,就能得到每天的抓取量:

for ua in Googlebot bingbot Baiduspider GPTBot ClaudeBot PerplexityBot; do
  printf '%-14s %s\n' "$ua" \
    "$(grep -ci "$ua" /var/log/nginx/access.log)"
done

但请记住:UA 是一行可以随便写的字符串。curl -A "Mozilla/5.0 (compatible; Googlebot/2.1)" 就能伪造出 100% 相同的 UA。所以 UA 只能用来做粗分和统计趋势,绝不能作为「允许」的依据。真正的验证只有一个方向——反向 DNS 解析加正向确认,见下文第四节。

三、看行为而不看身份:日志里三个可测量的特征

伪装 UA 的采集器在行为上会露馅,因为它们的代码是按通用逻辑写的,不会像真爬虫那样遵守 Crawl-delay、不会处理 304、也不会只在白天来。三个可以量化的特征:

第一,请求吞吐与并发。真 Googlebot 对单个小站通常是每小时几百次,分布在几十个 IP(Googlebot 的 IP 段是公开的);而一个采集脚本往往从两三个 IP 每秒钟发几十个请求。统计单 IP 的每分钟请求数就能一眼区分:

awk '{split($4, t, ":"); k = $1 " " t[2] ":" t[3]; c[k]++}
     END {for (k in c) if (c[k] > 300) print c[k], k}' \
  /var/log/nginx/access.log | sort -rn | head -20

这里 $4 是 [10/Nov/2026:14:23:01 +0800] 形式的时间字段,按冒号切成小时与分钟,得到「IP + 分钟」的键。超过三百次每分钟的,几乎肯定不是正常的浏览器行为。

第二,路径的遍历规律。采集脚本通常按 ID 顺序递增抓:/archives/1001.html、/archives/1002.html,一秒一个。真正的爬虫是按内链走图,路径跳跃无规律。把某个可疑 IP 的请求序列打印出来看二十行,规律一目了然:awk '$1 == "1.2.3.4" {print $7}' access.log | head -20。

第三,是否处理条件请求。正常的搜索引擎爬虫会在第二次抓取时带上 If-Modified-Since 或 If-None-Match,你的服务器返回 304,双方都省流量。采集脚本一般每次都拿完整 200。统计可疑 IP 的 304 占比,如果为 0,基本可以确定是自定义脚本。

这三个特征结合起来,即使在 UA 完全伪造的情况下也能识别出来。这也意味着你的防护逻辑应该建立在行为上,而不是黑名单式的 UA 匹配——UA 匹配只能挡住一行代码都不改的懒人,成本比你想象的低得多。

四、验证真爬虫的唯一正确方法:正向确认

当你决定「Googlebot 允许、其他一律限速」时,必须先能准确识别真 Googlebot。现在 Google 官方推荐的验证方式是反向 DNS 加正向解析双查:

# 1. 反向解析 IP,必须落在 googlebot.com 或 google.com
dig +short -x 66.249.66.1
# 输出应形如 crawl-66-249-66-1.googlebot.com.

# 2. 再正向解析该主机名,必须回到同一个 IP
dig +short crawl-66-249-66-1.googlebot.com
# 输出必须包含 66.249.66.1

两步都通过才是真 Googlebot,只做反向解析是不够的——攻击者可以给自己 IP 配一条反向解析记录指向 googlebot.com,但无法控制 googlebot.com 的正向解析结果。这就是「双向确认」的意义。

Nginx 侧的实现需要一层 DNS 查询,代价不能忽略:每个请求都做两次 dig 会让性能崩掉。实际做法是用 ngx_http_realip 之外的思路——把验证做成离线的:每小时用脚本把 Googlebot 的官方 IP 段(Google 在 googlebot.json 里发布,约 100 多个网段)拉下来,生成一份 map 文件,Nginx 引入这个 map 判断 $remote_addr 是否在段内。这样运行期只做一次前缀匹配,零 DNS 开销:

geo $is_verified_bot {
    default 0;
    include /etc/nginx/conf.d/googlebot_ranges.conf;
}
# googlebot_ranges.conf 内容形如:
#   66.249.64.0/19  1;
#   66.249.66.0/24  1;

map "$is_verified_bot:$http_user_agent" $bot_key {
    default              $binary_remote_addr;
    "1:~*Googlebot*"     "";        # 真爬虫不参与限流
    "1:~*bingbot*"       "";
}

注意 map 里的 key 用 $binary_remote_addr 而不是 $remote_addr,前者是二进制形式,占用内存更小,作为 limit_req_zone 的键也更高效。当 $bot_key 为空字符串时,limit_req 对空值的处理是「按空字符串整体计数」,所以要配合 limit_req 放在 if ($bot_key) 块内,或者干脆另开一个 location 给已验证爬虫放行。前一种写法在 Nginx 里 if 有坑(if 内的 limit_req 是否生效取决于版本),稳妥做法是 geo 判定的结果直接参与限流键,而给真爬虫分配一个极高的限额而非无限:

limit_req_zone $bot_key zone=crawler:20m rate=30r/s;
limit_req_zone $binary_remote_addr zone=other:20m rate=5r/s;

location / {
    limit_req zone=other burst=20 nodelay;
    if ($is_verified_bot = 1) {
        limit_req zone=crawler burst=100 nodelay;
    }
}

这样写有一个隐患需要说清楚:if 块里的 limit_req 是「追加」还是「替换」,取决于它是同一个 zone 还是不同 zone。不同 zone 时两个都会生效,正常爬虫也得过 other 那一关。要彻底干净,正确的方式是把爬虫单独的路径分支出去,用 map 决定 limit_req_zone 的键,一个 location 只用一个 zone,靠 key 的空间隔离来实现分级——把所有非爬虫的 IP 都哈希到同一个键以外的空间,这是做不到的。所以实践中更常见也更可靠的做法是只对可疑流量做限流,对已验证爬虫完全不管,通过 satisfy + auth_request 也不现实。

一句话结论:识别用双向 DNS(离线生成 IP 段表),处置用 limit_req,不要试图在 Nginx 里做「白名单跳过限流」的复杂逻辑,用官方 IP 段生成 geo 表、再用 geo 结果决定 rate 就够了——把 rate 拆成两个 zone,让真爬虫的 zone 上限极高(比如 100r/s),实际效果与放行无异,而且配置可读性远好。

五、AI 爬虫的特殊性:它不产生流量,但要吃你的内容

GPTBot、ClaudeBot、PerplexityBot 这一类在日志里的表现和搜索引擎爬虫几乎一样:低频、守规矩、会处理 304。区别在于它们抓走的页面不会给你带来任何访问——它喂养的是一个模型,不是一张结果页。

所以是否放行,本质上是一个内容策略问题,而不是技术问题。三种典型选择:

第一,全放行。适合以「被引用、被提及」为主要流量来源的站,尤其是有明确观点或独特数据的博客——被 AI 引用之后,总会有人顺着链接点进来。代价是内容被无偿使用。

第二,训练不拦、检索放行。GPTBot(训练)与 OAI-SearchBot(实时检索)是不同的 UA,可以只拦前者。检索类爬虫抓走的内容会以「来源引用」的形式出现在回答里,通常带链接,对流量是正面的。这条路线需要你在 robots.txt 里分别写 User-agent 段。

第三,全拦。用 User-agent: GPTBot 加 Disallow: /,或者返回 403。注意 robots.txt 的 Disallow 只是「请求」,对方可以不理;要真正拒绝,得在 Nginx 层针对 UA 返回 403,但那样也就失去了「合规爬虫遵守 robots 时可以正常抓」的区别对待。

一个务实的中间方案,也是很多技术博客目前采用的:robots.txt 允许检索类、限制训练类,同时在 Nginx 里对训练 UA 做低频限流(比如 1r/s),避免它们把带宽占满,但不彻底拒绝——因为彻底拒绝会同时失去「被引用」的可能性,而限流只是降低了抓取速度,长期结果几乎一样。日志是最好的决策依据:统计一下过去一个月 AI 爬虫抓了多少页、有没有带来任何有价值的 referer,三十天后用数据决定要不要改策略。

六、robots.txt 只对守规矩的人有用,剩下的交给限流

必须接受一个事实:robots.txt 是一份「君子协定」。它只能约束愿意读它的爬虫,而恰恰是那些你最想挡的采集脚本,从来不读。所以完整的分层设计应该是这样:

第一层,robots.txt 区分对待。搜索引擎主爬虫全放;AI 训练类按策略;聚合类可放;后台路径、搜索结果页、带参数的筛选页一律 Disallow——这些页面被抓只会产生大量重复内容,对收录没有任何好处。Disallow: /*?*sort= 这类通配写法在 Google 和 Bing 都支持,但 Baiduspider 对通配符的支持不完整,跨搜索引擎的写法要保守。

第二层,Nginx 的访问日志做每日统计,找出吞吐异常的 IP(第三节的命令)。这是唯一能对付隐形采集的手段。

第三层,limit_req 限流加 limit_conn 限制并发连接。对单个 IP 设 5r/s、burst 20 是合理的默认值;对静态资源可以放宽到 20r/s,因为页面加载时并发请求 CSS/JS/图片本来就是合法的。

第四层,才是封禁。IP 黑名单应该由脚本定期从日志自动生成,而不是手工维护——手工黑名单三天后就会过期,而攻击者的 IP 池每天都在换。一个可用的自动生成逻辑是:每小时统计一次单 IP 请求数,超过阈值的加入 geo 黑名单文件,nginx -s reload 生效,同时设置 24 小时后自动剔除条目,避免误封累积。

七、带宽被外链与图片盗链吃掉的识别方法

有一类「抓取」不体现在请求数上,而是体现在字节数上:别人把你的图片、视频、大文件直接嵌在自己页面里,每个访客都在你的服务器上拉一次。这类流量在日志里表现为巨大的 $body_bytes_sent 和来源是第三方域名的 referer。

awk '$10 > 1048576 {print $1, $10, $7, $11}' /var/log/nginx/access.log \
  | sort -k2 -rn | head -20

($10 是否 $body_bytes_sent 取决于你的格式定义,用第一条命令前先打印一行日志确认字段位置。)找出 Top 大文件之后,再看它们的 referer 分布:如果 80% 来自同一个外部域名,那就是盗链。处置手段有三级:内容层加 referer 校验(允许空 referer,否则用户直接从书签打开图片会 403),传输层对图片加签名 URL,最后才是彻底封禁整个 IP。前两层不伤用户体验,第三层伤的是「同一个人以后再也看不到你的站」,所以优先级最低。

八、这套分层实际跑起来是什么样

最后给一个可以直接照抄的落地顺序,不需要一次全上,按这个顺序每周加一层:

# 第 1 周:先把数据拿到
#   改日志格式,加 $request_time / $upstream_cache_status / $request_id
# 第 2 周:写 robots.txt,只封三类
#   /search?(站内搜索)、/*?sort=(排序参数)、/admin/
# 第 3 周:limit_req 上线,先只记录不拒绝
#   limit_req_log_level notice;
# 第 4 周:看一周的 limiting 日志,确认无误伤的爬虫后,把
#   limit_req_status 改成 429
# 第 5 周:自动黑名单脚本上线,24 小时过期

为什么要先只记录不拒绝?因为限流规则的默认参数几乎不可能一次调对,而 limit_req_status 503 会给搜索引擎留下「服务器错误」的记录,影响抓取预算。改成 429 语义正确(Too Many Requests,明确告诉对方「是你太快」而不是「我坏了」),大多数爬虫和库都会遵守 Retry-After。

这套东西的价值不在于「挡住多少攻击」,而在于让你的日志从一堆天书变成一份可读的流量账。当你每天能说出「今天 Googlebot 抓了 240 页、有个不知道哪来的脚本抓了 8000 页、图片带宽 1.2GB 里 800MB 来自一个盗链站」,处理起来就只是执行决定而已,而不是每天醒来面对一个「网站怎么又慢了」的谜题。

Last modification:November 16th, 2026 at 12:24 pm

Leave a Comment