分类页、标签页、分页该不该收录:URL 类型的索引与 canonical 判定表

一、从一次真实的反复掉收录说起

情况是这样:一个技术博客,正文九成以上是中文,页面上有分类页、标签页、分页、站内搜索结果,还有按日期归档。上线半年,Google 收录了八千多条,但流量一直不温不火。把 GSC 的报告拉出来,一眼能看到三个并存的现象:收录数忽高忽低像心电图;「已抓取但未编入索引」的条目稳定占三成;同一个关键词下出现了三到四个自家 URL,比如分类页和分页第二页。

这三个现象看起来是三个问题,实际上是同一个问题的三种表现:站点在告诉搜索引擎「这些页面都是独立有价值的」,而搜索引擎在判断「这些页面其实是同一批内容的不同切面」。解决它不是靠提交更多 URL,而是反过来——把真正独立的内容标成索引,把重复的切面标成不索引,同时用 canonical 把权重合并到唯一的那一个版本上。

这篇文章按 URL 类型逐个说清:哪些该 index,哪些该 noindex,canonical 该指向哪里,以及怎么验证改动真的生效。所有判断都以可执行的命令和可核对的结果为准,不讲「建议优化」这种没有落点的话。

二、先把站点的 URL 类型清点出来

不要凭印象判断站点有几个模板。从访问日志里把真实被访问过的 URL 形态聚类出来,这是唯一能拿到全貌的办法,因为你自己写过的路由和你以为的路由经常不一致(历史遗留的 ?p=123、主题自带的 /page/2、插件生成的 /tag/xxx/feed 都会在日志里冒出来)。

# 从 nginx 日志里把 URL 路径抽出来,归一化后按形态统计
awk '{print $7}' /var/log/nginx/access.log \
  | sed -E 's/\?.*$//' \
  | sed -E 's#/page/[0-9]+#/page/N#; s#/[0-9]{4}/[0-9]{2}/[0-9]{2}#/DATE#; s#/[0-9]{4}/[0-9]{2}#/MONTH#; s#/[0-9]+/$#/ID/#' \
  | sort | uniq -c | sort -rn | head -40

这段命令做了三件事:去掉查询字符串、把数字段换成占位符、按出现次数排序。跑完之后你会得到一个形态清单,通常包含这七八类:文章详情页 /archives/123/、分类页 /category/xxx/、标签页 /tag/xxx/、分页 /category/xxx/page/2/、归档 /date/2026/03/、站内搜索 /?s=关键词、作者页 /author/xxx/、附件页 /attachment/456/。

清点之后要做的第二件事是看每个形态被访问了多少次、有多少是不同的 URL。这一步决定后面的优先级:一个只被访问过 3 次、但生成了 800 个 URL 的形态(典型是站内搜索和标签页),是重复内容的最主要来源,处理它收益最大。

三、四类 URL 的索引判定表

把上一步的清单按这张表对照,逐类定处置方式。这里的核心原则只有一条:只有「用户能通过站内导航到达、且内容彼此不同」的页面才配拥有独立索引。其余全部归并。

第一类,文章详情页:必须 index、follow。这是站点的价值载体,任何情况下都不该对它 noindex。文章中如果有一个主题相关的标签列表,那是正常内链,不要 nofollow。

第二类,分类页:index、follow,但要满足两个前提——该分类下文章数大于等于 5,且分类描述不是空的(由编辑手写的一段说明)。少于 5 篇的分类页几乎没有独立搜索价值,容易和文章页抢词。这个门槛可以根据站点规模调整,但一定要有个数,不要「全部索引」。

第三类,标签页:默认 noindex、follow。标签是站点的检索辅助,不是内容组织,一个站几百个标签、每个标签下两三篇文章,索引进去只会稀释质量信号。只有标签下文章数超过 10 篇、而且这个标签确实是用户会搜的主题词时,才单独放出来 index。

第四类,分页:第一页 index;第二页及以后 index 但不进 sitemap,或者统一 noindex、follow。两种做法都可以,选一种坚持到底。分页页面的 canonical 一律指向自己(不是第一页),因为分页第二页的内容确实和第一页不同。这一点和很多教程写的「分页 canonical 指向第一页」相反,那个做法在 Google 的文档里被明确不推荐。

归档页、作者页、站内搜索结果、附件页:全部 noindex、follow。站内搜索结果尤其要处理,因为它是爬虫最容易陷入的死循环——搜索结果页里有链接指向更多搜索,无限展开。

四、canonical 到底该指向谁

canonical 的作用是「声明这一组 URL 里哪个是原件」,它的默认值是页面自己。很多人把它当成「万能去重药」,给所有页面加一个指向首页的 canonical,结果是全站都被归并到首页,这是最严重的自我伤害之一。

正确的 canonical 只有三种用法。第一,同一内容有多个 URL 形态时(带不带末尾斜杠、带不带 ?utm_source=、http 与 https、www 与裸域),所有副本都指向那唯一的规范形态。第二,带参数的页面(如 ?page=2 与 /page/2/ 并存)指向规范路径。第三,聚合页或摘录页引用全文时,指向原文。除此以外不要动它。

# 检查页面上的 canonical 与 robots 现状
curl -sL "https://example.com/category/linux/page/2/" \
  | grep -oiE ']*rel="canonical"[^>]*>|]*name="robots"[^>]*>'
# 检查响应头里有没有 X-Robots-Tag(优先级高于 meta)
curl -sI "https://example.com/?s=test" | grep -i 'x-robots-tag'

要特别注意响应头里的 X-Robots-Tag:它的优先级高于 HTML 里的 meta name="robots",而且从页面上看不出来。出现过不止一次这样的情况——页面 meta 写着 index,服务器或 CDN 却在响应头里塞了 noindex,页面在 GSC 里永远「已排除」。改完 robots 记得两边都查。

还有一个细节:canonical 必须是绝对 URL,且协议、域名、路径要与目标页完全一致。/archives/123 与 /archives/123/ 在被搜索引擎视为两个 URL,所以 canonical 里少写一个斜杠就等于指向了一个 301 跳转,白白浪费一次抓取。

五、robots meta、X-Robots-Tag 与 robots.txt 的分工

这三个东西常被混用,但作用层次完全不同,用错的代价也不同。

robots.txt 是「不要来抓」,属于抓取层的指令。它的危险在于:被 Disallow 的 URL,搜索引擎看不到页面上的 noindex,所以如果 URL 已经被收录,Disallow 之后它不会被移出索引,只会变成一个「无法访问的旧快照」,长期挂在那里。所以正确的顺序是:先用 noindex 让页面退出索引,等 GSC 显示「已排除」之后,再考虑是否加 Disallow 省抓取预算。

meta name="robots" 是页面级的「不要索引」,属于索引层的指令。它有效的前提是搜索引擎能抓到页面。这也是为什么带参数的搜索页要先用 noindex 而不是直接 Disallow。

X-Robots-Tag 是响应头版本,能作用于非 HTML 资源(PDF、图片),也能在 CDN 或反向代理层统一加上,比改模板代码更快生效。代价是它藏得深,容易在「页面上看着没问题」的时候背锅。

# Nginx 里按路径给某一类 URL 统一加 noindex(不必改程序代码)
location ~ ^/attachment/ {
    add_header X-Robots-Tag "noindex, follow" always;
}
# 注意:add_header 在 location 里出现会覆盖 server 块的全部 add_header,
# 所以安全头要在这里重写一遍,否则会丢
location ~ ^/attachment/ {
    add_header X-Robots-Tag "noindex, follow" always;
    add_header X-Content-Type-Options "nosniff" always;
    add_header Referrer-Policy "strict-origin-when-cross-origin" always;
}

上面这个「add_header 覆盖」的坑极其常见:你在 location 里加了一个头,结果 server 级别的 CSP、HSTS 全部消失,而且没有任何报错。改完之后用 curl -sI 把响应头完整打一遍,逐行核对,不要只看你新加的那一个。

六、sitemap 只放该被索引的 URL

sitemap 经常被当成「把站点所有 URL 都交给搜索引擎」的工具,这是误解。它的定位是「高质量页面的发现通道」。如果一个 URL 在 sitemap 里,同时页面上又是 noindex,这是明确的矛盾信号,会让搜索引擎降低对整个 sitemap 的信任度。

所以 sitemap 的生成逻辑应该和索引策略严格对齐:只输出文章详情页、达标的分类页、达标的标签页。lastmod 必须是内容真实修改时间,不能是构建时间——每次构建都刷新一遍 lastmod,等于告诉搜索引擎「全站每天全变」,几次之后这个字段会被完全忽略。

# 快速核对 sitemap 里的 URL 是否有 noindex 或 5xx
curl -s https://example.com/sitemap.xml \
  | grep -oE '[^<]+' | sed -E 's###g' \
  | head -50 \
  | while read -r u; do
      code=$(curl -s -o /dev/null -w '%{http_code}' "$u")
      rob=$(curl -s "$u" | grep -oiE 'noindex' | head -1)
      echo "$code $rob $u"
    done

这段脚本对单个 URL 发两次请求,50 个 URL 就是 100 次请求,别在高峰期跑。它的输出能一次抓出三类问题:sitemap 里有 404/500 的 URL、有 noindex 的 URL、有 301 的 URL(301 也算不合格,应该直接放最终 URL)。

顺带说一个分片问题:单文件 sitemap 上限是 5 万个 URL、50MB 未压缩。一旦超过,需要用 sitemap index 指向多个子 sitemap。个人站点一般到不了这个规模,但图片站或者聚合了评论、标签的站会。分片的原则是按类型分(文章一个、分类一个、图片一个),不是按时间随意切,因为按类型分便于单独排查某一类 URL 的收录问题。

七、GSC 里怎么验证改动生效

改完不等于生效。索引类改动从提交到反映,快则一天,慢则两三周,中间状态很容易让人怀疑自己改错了。给出一个按周看的核对流程,比每天刷新 GSC 强。

第一步,改动当天用 URL 检查工具对 3~5 个代表性 URL 做实时测试,确认返回的 HTML 里 robots 和 canonical 已经是你想要的。这一步能排除「模板改了但缓存没刷新」的情况——这一步最值得做,因为 CDN 和全页缓存会让改动延迟生效几小时到几天。

第二步,三天后看「网页索引编制」报告里的「已抓取但未编入索引」条目变化。如果给一批重复页面加了 noindex,这些页面会从「已编入」迁移到「已排除」,总数下降是好事,不要看到收录数掉就慌。

第三步,两周后看「已排除」里 noindex 的数量是否接近你预期的数量。比如站内搜索页预估有 800 个形态、实际只排除了 200 个,说明还有 600 个 URL 要么从没被抓过(那就不用管),要么被某个 Disallow 挡住了(需要查 robots.txt)。

第四步,一个月后看点击数据的变化。这里正确的预期是「总点击不一定涨,但单位页面的点击质量会变好」——因为把低质量的重复页清出索引后,权重会更集中到真正的文章页上,长尾词的排名通常会改善,但整体曝光数的绝对值可能会先掉一点。

八、处理顺序与取舍

如果只能做三件事,按这个顺序做:第一,站内搜索和附件页先加 noindex(收益最大、风险最小,几乎不可能误伤);第二,修正 canonical 与末尾斜杠、参数化 URL 的规范形态(一次改完能减少大量重复);第三,再动标签页和分页策略(这两类需要看数据,改错了会掉流量,所以放最后)。

反过来,不建议先做的两件事:一是大批量删除或合并旧文章,那是不可逆的;二是直接改 URL 结构然后做 301,那会影响所有外链和已有排名,收益不明、风险极大。索引治理的意义在于「把已有的东西标清楚」,不是「重建站点」。

最后是一个心态上的判断。收录数不是 KPI,它是症状。一个站点的收录数上下波动属于常态,真正值得警惕的是三种形态:一是连续三个月收录数单调下降,二是「已抓取未编入索引」的比例持续上升,三是核心页面的抓取频率下降。这三件事指向的是同一个根因——站点被判定为低质量或者重复度过高。而解决它的办法从来不是提交更多 URL 让搜索引擎「看得起」,而是真的把重复的部分去掉、把内容做得值得独立存在。技术手段只是把这个事实说清楚,它不创造事实。

Last modification:November 18th, 2026 at 01:31 pm

Leave a Comment