收录了没收录:sitemap、服务端与内容三层排查,附两个引擎差异与每周十分钟检查

有一位读者给我发了封邮件,说他的文章被必应收录了,谷歌搜 site 一条都没有;另一个人正好反过来。两个人问的是同一个问题:是不是我的站被某个搜索引擎惩罚了?我的回答是:在绝大多数个人站身上,「某个引擎不收录」跟惩罚没有关系,它只是一个具体环节没走通。这篇文章讲的是怎么把这个环节找出来,以及在发现的路径上做哪几件小事收益最大。

为了避免变成另一篇「多发外链、多更新」的泛泛之谈,我把范围缩得很窄:只讨论已经能正常访问、已经写了 sitemap、已经提交过的站点,为什么新文章在一周内进不了索引。

一、先判断「没收录」到底是哪一种没收录

「site:域名」查不到,可能是四种完全不同的状态,处理方式差得很远:

  • 从未被抓取:日志里根本看不到对应的 spider 请求。这是发现层的问题。
  • 抓取了但没索引:日志里有请求、状态 200,但索引里没有。这是内容判定层的问题。
  • 抓取了但被拒:状态是 403、429 或者 503,或者返回了一个内容不对的页面。这是服务端层的问题。
  • 索引了但 site 查不到:site: 是抽样查询,本来就不稳定,这种情况不要当故障处理。

先看日志,一条命令就能分开前三种:

# 把一周内两个蜘蛛的请求按状态码分组
zcat -f /var/log/nginx/access.log* \
| grep -Ei 'googlebot|bingbot' \
| awk '{print $9, $7}' \
| sort | uniq -c | sort -rn | head -30

如果结果里只有首页和 sitemap,说明蜘蛛来了但没往里走——问题在内链或者 sitemap 的质量;如果有一条条 200 /文章路径,说明抓到了,问题在内容;如果状态码是 403/429 占了多数,那先修服务端,别做 SEO。

二、发现层:sitemap 的质量比提交次数重要

发现层的意思是「搜索引擎有没有机会知道这个 URL 存在」。对个人站来说,这条路只有三条:sitemap、内链、外部引用。其中 sitemap 是最可控的一条,也是最容易做错的一条。

我见过的最常见的三个错误:

  1. sitemap 里的 URL 和实际可访问的不一致。比如 sitemap 写了带 www 的地址,但站内链接全是裸域,或者反过来。搜索引擎抓 sitemap 里的地址时会被 301 到另一个形态,于是它把「sitemap 里的地址」标成「已重定向」,而不是收录。这种情况在 GSC 的 sitemap 报告里表现为「已发现但未编入索引」,而且永远不会自己好。
  2. lastmod 是构建时间而不是修改时间。如果你的 sitemap 是每次请求动态生成的,lastmod 写成 date('c'),那每篇文章每次都显示「刚刚更新」。蜘蛛对这种信号会直接忽略,甚至降低整个 sitemap 的信任度。正确做法是取数据库里真实的修改时间,并且只在内容真的变了之后才更新。
  3. sitemap 被 CDN 缓存成了旧版。这个坑特别隐蔽:你在后台发了新文章,去看 sitemap 的 URL 也确实能看到,但蜘蛛拿到的是 CDN 上三天前的副本。检查方式很简单:
curl -sI https://www.example.com/sitemap.xml | grep -Ei 'age|cache-control|cf-cache-status'
# 期望:短缓存(比如 max-age=600)+ Age 很小
# 如果 Age 已经是几万秒,那就是配错了

还有一件事值得做:把 sitemap 分片。单文件 50000 条是协议上限,个人站远不到这个数,但分片的真正价值在于按内容类型分(文章一片、分类页一片),这样某一类出问题时不会连累整份 sitemap 的抓取频率。

三、服务端层:蜘蛛来了却被挡住

这一类是我遇到最多的,也是最容易被误诊为「惩罚」的。表现是:蜘蛛确实来了,但拿到了 403,或者拿到了一个「正常」的页面却内容不对。

几个真实原因:

  • CDN 的机器人防护。免费套餐常有「Bot Fight Mode」之类的开关,它会把「看起来像机器人」的流量挑战一遍。正规蜘蛛理论上在白名单里,但如果你给它返回的验证页状态码是 403,谷歌会记录下来并把抓取频率降下来。判断方法:用真实的浏览器 UA 和 Googlebot UA 各打一次同一 URL,看返回是否一致。
  • WAF 规则误伤。某个规则匹配了文章标题里的关键字、或者 URL 里的百分号编码,把正常抓取当成攻击。查法是看 WAF 日志里有没有 /文章路径 被拦的记录——注意蜘蛛不会因为被拦就报错,它只是默默走了。
  • 限速规则把蜘蛛限了。limit_req 按 IP 限速时,谷歌的抓取是从少数几个 IP 集中来的,很容易触发。给已知蜘蛛的 UA 单独开一个高阈值的 zone,或者干脆跳过限速,是标准做法。
  • 返回了错误的页面但状态码 200。比如文章路径被某个 try_files 兜到了首页,状态码 200、内容是首页——这就是软 404。蜘蛛拿到的和 sitemap 里声明的内容对不上,自然不会索引。

验证方式很朴素,但一定要做:用真实的 spider UA 从公网打一遍每一条 sitemap 里的 URL,比对状态码和标题。这件事我写成了一个小脚本,每次改完 robots 或 CDN 规则就跑一遍。

四、内容层:抓了没收的三种常见原因

状态码正常、页面内容也对,但就是不进索引,通常落在以下三类:

第一类是正文不在 HTML 里。如果页面靠 JS 渲染出主要内容,而你的爬虫预算又很有限,蜘蛛很可能只看到空壳。个人站最靠谱的做法是服务端渲染,把正文直接写进 HTML。这一条没有捷径。

第二类是页面之间太像。分类页、标签页、归档页如果只是把标题列一遍,正文几乎没有独有内容,那么这些页面对搜索引擎来说就是「低价值重复页」。它们不是错误,但会吃掉抓取预算,还会稀释你真正想推的文章页。我的处理是:分类页保留但只放有实际聚合价值的(至少 5 篇、并且手写一段说明),标签页和分页一律 noindex, follow。

第三类是新页面孤岛。文章发出去了,但站内没有任何链接指向它——只有 sitemap 里有。这种情况下蜘蛛即使看到了 sitemap 里的地址,也会因为「站内无人引用」而降低优先级。我见过的最极端的例子是:一个站有 300 篇老文章,新发的一篇只有 sitemap 提到它,两周都没进索引;在首页加了一个「最新文章」模块之后,第二天就收录了。

五、两个引擎的差异:别用「惩罚」解释一切

必应与谷歌的索引是两套完全独立的系统,收录时间、抓取频率、对站点质量的判断都不同。所以「一个有一个没有」在个人站上是常态,不需要恐慌。

差异通常来自这几个方面:

  • 发现渠道不同。必应对 IndexNow 的支持是原生的,如果你接了 IndexNow,新文章几分钟内就会被发现;谷歌没有对等的公开协议,只有 sitemap 和 Search Console 的 URL 检查。反过来,如果你的 sitemap 在谷歌侧有问题,必应那边可能完全正常。
  • 对新站的容忍度。新域名在谷歌那里普遍要经历一段「观察期」,这期间收录慢不等于有问题;必应对新站的收录往往更快,但也更容易因为内容单薄而后续掉量。
  • 抓取预算的分配。两个引擎对「同一站点多少页面值得抓」的判断不同。如果你的站点有大量重复页,某个引擎可能先放弃这些页面,另一个还在抓。

所以正确的判断顺序是:先确认技术层面两个引擎看到的是同一份页面(用两个 UA 各打一次),如果技术层一致,剩下的差异就是引擎自己的判断,你能做的就是保证内容质量与结构清晰,然后把时间放在写作上。

六、我给自己定的每周十分钟检查

不做日检,只做周检,因为大部分变化都是按周显现的。四个数:

  1. 本周新增索引数。以 Search Console 的「已编入索引」为准,不看 site 查询。
  2. 蜘蛛请求的成功率。从日志算:200 的比例。如果 5xx 占比超过 1%,先查服务端。
  3. sitemap 报告里的错误项。重点看「已发现但未编入索引」的数量是不是在涨。
  4. 新发的文章有没有被抓取过。日志里 grep 一下最近一周新增的路径。

这四个数加起来不超过十分钟,但它们能在问题还小的时候给出信号。我的经验是:真正需要动手的「收录问题」一年也就三五次,其余的都只是正常延迟。

七、几个常见的误判

最后把这几年被问最多的几个误判集中写一下,帮你少走弯路:

  • 频繁提交 URL 会加快收录。不会。提交只是「告知存在」,抓不抓、收不收是另一套判断。一天提交几十次的站,反而容易让引擎降低对这个渠道的信任。
  • 「site:」的数字掉了几十,就是掉量了。不会。site: 是抽样,同一时刻换台设备查出来的数字都可能不一样。要看 Search Console 的索引报告。
  • 收录慢一定是被降权。如果日志里蜘蛛压根没来,那跟降权无关,是发现层断了;如果来了但状态不对,是服务端问题;来了、状态 200、内容也对但还是没收,才轮到内容判断。
  • 改了 robots 就能解决问题。robots 只控制抓取,不控制索引。把不该收录的页面用 Disallow 屏蔽掉,反而会让搜索引擎看不到页面上的 noindex,最终保留一个「无法访问」的旧快照。

把这四句话记住,基本上就不会在错误的方向上折腾一整晚。个人站的时间应该更多花在写东西上,而不是反复提交网址。

Last modification:November 20th, 2026 at 12:25 pm

Leave a Comment