收录一千八却几乎没有排名:内容重复度的三种量化法、四类重复的分开处理与改写后的验证

一、一封"我们收录了但没排名"的邮件

前阵子有个做设备维修的老站找我。他的情况很有代表性:两千多篇文章,site: 搜出来一千八百多条,看起来收录不错,但站里的品牌词之外的词几乎全无排名,搜索量最大的那批词一页都进不去。他把 sitemap 提交了、robots.txt 也放行了、页面也都加了关键词,问我"还差什么"。

我让他把日志给我,翻了半小时就发现一个很典型的现象:爬虫来得非常勤,但每次抓的页面很少,抓完首页和一两个列表页就走,深度文章三天才来一次。然后我随机挑了三篇他自认为写得最好的文章,内容一读就明白问题了——三篇文章除了换掉产品型号和几张图,段落结构、小标题、结论几乎一模一样,连"我们承诺质量第一、服务至上"这类句子都在三篇里各出现一次。

这就是典型的内容重复度问题。它不是"抄袭",也不是"采集",而是同一个模板批量生成了几百个几乎相同的页面。搜索引擎对这种页面的处理方式很明确:收录一部分做样本,其余的不再投入抓取预算,排名上则认为是低价值内容。这篇文章我想把这件事讲透:怎么量化重复度、怎么判断哪种重复该合并、哪种该改写、以及改完之后怎么验证效果。

二、先量化:重复度不是一个感觉,是可以算出来的

很多人讨论"内容重复"全凭感觉,这样改起来没有方向。其实它可以用很简单的方式量化,下面三种方法按由粗到细排列,都可以在本地跑,不需要任何第三方工具。

方法一:按段落做指纹比对

最实用的一招。把每篇文章的正文抽出来,按空行或 </p> 切开,每段算一个哈希(比如 md5),然后统计"哪些段落出现在了两篇以上的文章里"。出现频率极高的段落就是模板句,它们的占比就是重复度的下限。一个简单粗暴的判定:如果一篇文章里有超过 30% 的段落能在另外两篇以上文章里找到原样,这个页面基本没有独立价值。

具体做法可以是导出文章的正文(Typecho 就是 typecho_contents 表的 text 字段,去掉 HTML 标签),逐段哈希,然后按哈希做 group by 统计出现次数。这个脚本半小时能写完,跑一次就能给你一张"模板句排行榜"——通常前十名会是导航说明、免责声明、"关于我们"那段介绍、以及文章末尾的"相关推荐"引导语。这些是正常的,不算问题;真正要警惕的是出现在正文中段的那些高频段落。

方法二:算 shingle 相似度

段落级比对抓不到"改了几个词"的复制。要抓这个,用 n-gram shingle:把正文按字切成连续的 n 个字(中文通常取 n=5 到 10),得到一个集合,两篇文章的 Jaccard 相似度就是"交集大小 / 并集大小"。这个方法对中文特别有效,因为它不依赖分词。经验阈值:

  • 相似度 0.9 以上:基本是同一篇,属于重复内容,必须合并或设 canonical。
  • 0.7 到 0.9:高度雷同,模板骨架相同、内容有替换,这种最危险——它既不是重复页可以合并,又不足以算原创。
  • 0.4 到 0.7:同题材不同写法,通常可接受,但如果同一批里有几十篇互相都在这个区间,说明这批是同一次批量生成。
  • 0.4 以下:基本无关。

几十篇文章两两比对是 O(n²),两千篇就是两百万次比较,用 Python 加集合运算跑下来大概几分钟,完全可行。更快的做法是用 MinHash 做近似,但对个人站这个规模没必要。

方法三:看爬虫的抓取分布

前两种是"页面内部"的度量,这一种是"外部反馈"。把服务器访问日志里爬虫的请求按 URL 聚合成每天的抓取次数,然后和文章发布时间对照。如果一个新的文章列表页(比如第 15 页)从来没被抓过,或者某篇文章发布三周了抓取次数还是 0 或 1,那说明抓取预算已经不够用了,而抓取预算不足通常就是重复内容过多的直接后果。这个信号比相似度更值得信任,因为它是引擎的实际行为。

具体可以这样筛日志(以常见的 combined 格式为例,爬虫 UA 里带 bot/spider):

grep -iE 'bot|spider|crawl' access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -30

如果结果里首页、列表页占了绝大多数,而详情页(*.html 且 cid 具体)占比很低,那就对上了。

三、分类处理:四种重复,四种解法

量出来之后不要一刀切"全部重写",那样工作量爆炸而且收益递减。按性质分四类,每类解法不同。

第一类:同一内容的不同 URL(真重复)

比如带 ? 参数的列表页翻页、带 index.php/ 和不带的两套路径、http 和 https 两套、带 www 和不带的、大小写不同的 URL、以及"文章在首页、分类页、标签页、归档页各出现一次"这种情况。这类是技术性重复,必须用 href 层面的 canonical 解决,不是靠写文章。做法:全站统一 301 到一个规范 URL,页面里加 <link rel="canonical"> 指向自己,分页列表页用 rel="next"/rel="prev"(虽然 Google 已经不再把它当作排名信号,但对其他引擎和爬虫理解结构仍有帮助),标签页和归档页如果只是列表没有独立内容,考虑 noindex,follow 或者干脆不生成。

这一类占比通常被严重低估。我见过一个站,光是"文章 + 分类 + 标签 + 归档 + 搜索页"五种路径就把同一篇文章散成了十来个 URL,索引里一大半都是这些变体。

第二类:模板生成的近重复页(最常见的坑)

就是开头那个维修站的情况:一个模板套几百个型号。这类页面在结构上完全一样,只有实体名不同。处理原则是先判断有没有"独立的、用户真正会搜的信息":

  • 有独立信息(每个型号的参数表不同、故障现象不同、报价不同):保留,但必须把差异化内容放到页面前部,让模板句退到后面。搜索引擎判断页面主题主要看前半部分和标题,模板句堆在前面等于告诉它"这页和别人一样"。
  • 没有独立信息(只是把型号名替换进同一段话):合并成一个总页面,用型号列表 + 锚点的方式承载。宁可少几十个页面,也不要多几十个低质页面。
  • 真的需要分开(比如每个型号都有用户会直接搜"XX 型号 维修"):那就必须投入成本,给每个页面写真正的差异化内容——不同的故障案例、不同的价格区间、不同的注意事项。这类页面认真写五十个,比敷衍写五百个有效得多。

这里有一个很实际的经验:判断标准不是"有没有搜索量",而是"这篇内容有没有提供别的页面提供不了的信息"。如果你写的时候自己都觉得只是在替换关键词,那读者和算法也是同样的感受。

第三类:同一题材的"系列文"互相蚕食

我很长一段时间都在犯这个错:一个主题写了五篇,分别叫"入门""进阶""实战""避坑""总结"。表面上每篇角度不同,实际上大量内容互相重叠,结果是五篇互相竞争同一批关键词,权重被摊薄,哪篇都上不去。这也是"关键词蚕食"的一种。

解法是合并成一个权威页面,用长文 + 目录锚点的方式承载全部内容,然后把这五篇旧文 301 到新页面。这个动作在执行层面最不讨喜(因为要删东西),但效果往往立竿见影——我做过一次合并,把六篇短文并成一篇一万多字的长文,两个月后那批词的整体曝光涨了近一倍,因为权重集中到了一处。当然合并之后要保持 URL 可访问(301 而不是 404),别把外链和已有的排名直接扔掉。

第四类:不同语言/地区的同一内容

如果站点有简繁两版或者中英两版,同一个内容的多语言版本不算重复内容,但必须用 hreflang 互相声明,否则引擎可能误判为重复。这一类的坑在于机器翻译出来的版本质量太差,,那它就不是"多语言版本",而是"低质重复"。多语言站点要么做好翻译,要么别做。

四、改写不是换同义词:什么才是"信息增量"

被判定为近重复的页面,最直接的补救是改写。但绝大多数人的"改写"是换同义词、调语序、加一段无关的废话,这在算法眼里等于没改——因为 shingle 相似度几乎不变。真正有效的改写在信息层面,有几个可操作的方向:

  1. 加入只有你才有的数据。具体的日志截图里的数字、某次故障的具体时间线、你自己实测的耗时对比、你机器的配置和版本号。这些是任何人都无法复制的,也是引擎判断"这个页面有独立信息"的重要依据。
  2. 给出可验证的具体步骤。"优化服务器性能"是废话,"把 worker_connections 从 512 调到 2048,然后压测看到 QPS 从 300 升到 900"是可执行信息。
  3. 覆盖"子问题"。同一个主题下,用户真正会追问的细节往往没人写:报错信息是什么、失败的时候怎么回滚、.0.0.0.0 和 127.0.0.1 有什么区别、迁移之后旧链接怎么办。把这些子问题逐个回答到,页面的信息密度就上来了。
  4. 写清取舍。同一件事有几种做法,各自代价是什么、你选了哪个、为什么。这种"判断"是最难被复制的内容。

反过来,要避免的是这几种无效改写:把"非常"改成"十分"、把段落顺序打乱、在开头加一段"随着互联网的发展"、在结尾加一句"希望对大家有帮助"。这四种在语义上不改变任何东西。

五、验证:改完怎么知道有没有用

内容层面的改动,效果不是第二天就能看到的。要给至少四到八周的观察期,用下面几个指标看趋势,不要看单日波动:

  • 抓取次数:从日志里统计爬虫对详情页的请求数。这是最快有反馈的指标,通常两三周就能看出变化。如果改完之后详情页抓取量明显上升,说明抓取预算回来了。
  • 索引覆盖:Search Console 或百度站长后台的"已编入索引"页数变化。注意别只看总数,要看具体那批页面的状态。
  • 曝光与点击:只看展示次数(曝光)比看点击更早反映问题,因为排名提升先体现在曝光上。曝光上升但点击不动,那是标题和描述的问题(另一个话题了)。
  • 单页平均停留:如果有统计工具,看那批被改写页面的停留时长。停留从 20 秒变成 90 秒,说明内容真的变好了;如果没变,说明改写失败了,得回头看信息增量。

还有一点要提醒:改完之后别急着再改。我见过有人改完两天没效果,又改一版,再改一版,最后根本不知道是哪一版起了作用。一次改一项,给它足够的时间。

六、一个可以直接照做的清单

  1. 导出全部文章正文,按段落做哈希,统计高频段落,找出模板句占比最高的二十篇。
  2. 对选中的文章两两算 shingle 相似度,标出 0.7 以上的组合,形成"重复簇"。
  3. 对每个簇判定类型:技术性重复(改 canonical/301)、模板近重复(合并或补差异化信息)、系列蚕食(合并成长文)、多语言(加 hreflang)。
  4. 先处理技术性重复——成本最低、见效最快,而且能立刻减少索引里的垃圾 URL。
  5. 再处理模板近重复:能合并的合并,不能合并的重点写前 800 字。
  6. 合并的页面做 301,保留旧 URL 可访问,更新 sitemap。
  7. 盯四周内的爬虫抓取次数变化,再盯八周内的曝光变化。
  8. 把这个流程变成季度例行检查,别等出了问题才做。

七、最后

内容重复度这件事,本质上不是技术问题,而是"你到底有没有给对方提供别人提供不了的东西"。模板化能让你一天产出五十篇,但那五十篇在索引里只会被当成一篇。反过来,五十篇真正有独立信息的文章,哪怕一个月只写五篇,长期效果也远远好过前者。个人站长最大的优势不是产能,是有真实的一手经验——多写那些只有你才知道的细节,重复度这个问题自然就小了。

Last modification:November 22nd, 2026 at 12:26 pm

Leave a Comment