自己的原创内容被整站镜像了，先别急着发火

做内容站久了迟早会碰到这件事：在搜索结果里发现自己写的文章出现在另一个域名下，排版一模一样，连你页面里的错别字都没改，唯一的区别是广告位换成了别人的。这就是所谓的「镜像站」或「采集站」。第一次遇到时的第一反应通常是愤怒，然后是焦虑——会不会被搜索引擎判定成我抄他？其实大多数情况下受害者是你，搜索引擎能识别出来，但前提是你要主动留下证据并做好防护。这篇文章讲清怎么判断镜像的严重程度、怎么处理，以及怎么从技术上增加被采集的成本。

第一步：先确认是镜像、转载还是巧合

不是所有相似内容都是恶意镜像。先做三个判断：

看发布时间。你的文章有明确的 dateCreated 或 sitemap 里的 lastmod，搜索引擎也记录了首次收录时间。用 site: 查询或站长工具对比双方的收录日期，如果对方明显晚于你，这就是最有力的证据。

看有没有留下站内特征。镜像站经常「偷懒」：留着你文章里的站内链接（指向你自己的域名）、留着你的图片路径、留着你的文章 ID 结构。这些残留是非常强的原创证据。反过来，如果对方把所有链接都改写成自己的，说明是有意为之的采集。

看是抓了整站还是几篇。抓几篇可能是某个转载/投稿，抓整站就是自动化采集程序。判断方法很简单：搜对方站点里的几篇你自己的不同时期的文章标题，如果从半年前到昨天的全都有，那就是在做持续采集。这种情况必须处理，因为它的收录量会慢慢超过你，最终在搜索结果里形成「谁才是原创」的模糊地带。

第二步：从服务器日志里找到采集者的行为特征

镜像站是怎么抓到你的内容的？绝大多数不是黑进你的数据库，而是用爬虫按 sitemap 或首页链接把整站爬了一遍。所以你的访问日志里一定有它。看日志时重点关注几个特征：

# 按 IP 统计请求量，找异常高频的来源
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -30

# 找出请求量最高的 UA
awk -F'"' '{print $6}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20

# 统计某个可疑 IP 抓了哪些页面
grep '1.2.3.4' /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -30

采集者的典型特征：单个 IP 在短时间内请求几百上千个页面、User-Agent 是空白的或者是伪造的浏览器标识（比如声称是 Chrome 但从不请求 CSS 和图片）、请求顺序高度规律（严格按文章 ID 递增或按 sitemap 顺序）、没有 Referer。真实的搜索引擎爬虫（Googlebot、Bingbot）行为规律但会遵守 robots.txt，而且 IP 可以反查验证——这是区分「正常爬虫」和「恶意采集」的核心依据。

如果你在日志里看到某个来自境外云服务商 IP 段的请求、UA 是伪造的、且一天内抓了上千页，那基本可以确定是采集。把这个 IP 段记下来，后面有用。

第三步：用 robots.txt 和 Nginx 做基础防护

最温和的做法是先通过 robots.txt 表达态度。注意这只能约束「守规矩的爬虫」，对恶意采集无效，但它是表明立场的第一步，也是将来向搜索引擎申诉时的材料：

User-agent: *
Disallow: /search
Disallow: /*?replyTo=
Disallow: /action/

# 明确禁止某个已知的采集者
User-agent: BadBotName
Disallow: /

真正有效的是在 Nginx 层做限制。三个手段，按从轻到重排列：

限速，让采集变得不划算。用 limit_req 限制单 IP 的请求速率，把采集从「几分钟抓完整站」变成「几小时也抓不完」，大多数人会自动放弃：

limit_req_zone $binary_remote_addr zone=perip:10m rate=30r/m;

server {
    location / {
        limit_req zone=perip burst=20 nodelay;
        limit_req_status 429;
    }
}

这里的 rate=30r/m 表示每分钟 30 个请求，burst=20 允许突发 20 个。设这个值时必须先想清楚正常用户的需要：一个页面加载会产生 1 个 HTML 加几十个静态资源请求，如果静态资源也走这个限速，正常用户翻几页就会被误伤。所以实践中的正确做法是只对 HTML 请求限速，静态资源单独放行，或者把速率设得足够宽（比如 rate=120r/m），并结合 burst 容忍正常的浏览突发。

屏蔽 IP 段。如果确认某个 IP 段全是在采集，直接拒绝最省事：

location / {
    deny 1.2.3.0/24;
    allow all;
}

但要注意：采集者换 IP 的成本很低，尤其是用云主机按小时计费的那种。单纯封 IP 只能赢得一时，不能治本。所以它应该和限速配合使用，而不是唯一手段。

用 UA 拦截，但要认清局限。按 User-Agent 拒绝请求可以挡住低级的采集脚本，但 UA 是最容易伪造的东西，稍专业的采集者会直接冒充正常浏览器。所以这条只能作为辅助，不要指望它。

第四步：向搜索引擎证明你是原创

技术上防不住的部分，要靠搜索引擎的判断机制来解决。这里有几个确实有效的动作：

确保你的文章先被收录、且被频繁重抓。搜索引擎判断原创的重要依据之一是「谁先出现」。如果你的文章发布后一周才被收录，而采集站当天就抓走并发布了，那你的时间优势就没有了。所以：提交 sitemap 并确保 lastmod 准确；发布后主动在站长工具里提交 URL；保持站点的更新频率稳定，让搜索引擎更频繁地来抓。

在自己的文章里留下可验证的原创标记。原始发布日期、作者署名、文章内的站内链接（其他相关文章）、以及图片的 EXIF 或文件名特征，都是采集站通常不会同步的东西。尤其是「文章内指向本域名的链接」——采集站如果原样保留，反而成了指向你的外链；如果它全部改掉，那改动痕迹本身就是「这不是原创」的信号。

正式投诉。Google 有 DMCA 投诉流程，百度也有原创保护和不实信息举报入口。提交时需要准备：原始 URL、对方 URL、双方的发布时间证据、以及你的内容确实是原创的说明。对个人站长来说，最有用的其实是各家搜索平台的「原创保护」计划——加入之后，你的内容在搜索结果里会被优先展示，采集站的版本会被降权，这比逐条投诉高效得多。

必要时用 canonical 和版权声明。在页面里加上清晰的版权声明和原文链接，虽然采集站会删掉，但它可以作为投诉材料的佐证。同时确保你自己的页面有正确的 rel="canonical"——如果采集站保留了你的 canonical（有些低级采集确实会），那搜索引擎会直接把权重算到你头上，这算是意外的反向收益。

第五步：从长期视角看，提高采集成本比封堵更有效

和采集站打攻防战是消耗战，封一个他换一个。更有效的思路是让采集出来的内容「没用」，从动机上降低对方收益：

第一，内容里嵌入只有真实访客才能看到的元素。比如某些关键数据用前端 JS 动态加载、或者图片里带水印、或者在正文里放一句「本文首发于 xxx.com，转载请注明」。纯文本采集会带上这句话，读者一看就知道是抄的。

第二，把最有价值的部分做成整合内容而不是散篇。采集站能抄单篇文章，但抄不走你成体系的内容结构、站内导航和用户体验。做专题、做系列、做更新维护，这些是采集不走的竞争力。

第三，定期做自我搜索。每月用几个标志性句子去搜索引擎搜一次，看看有没有新的镜像出现。"你这篇文章里一句独特的话" 加引号搜索命中率很高。早发现早处理，比等到对方收录量超过你才动手要好得多。

最后要说清楚一个心态问题：内容被采集，某种程度上说明你的东西有价值。完全不被采集的站点，往往是没人看的站点。所以把这件事当成日常运维的一部分、按流程处理就好，不要为此打乱内容创作的节奏——持续产出高质量原创，永远是最有效的防守。