必应有了 Google 没有?用 IndexNow 把收录延迟从五天压到一天

我的站有一段时间是「Google 有了,必应没有」。Search Console 里页面陆续进了索引,但去必应搜一下站名,只在首页那条结果里能看到几个二级页面,新发的文章查不到。当时的判断是「必应体量太小,不理它」,直到某个月看访问日志才发现,来自必应的流量已经排到第二,而且转化比百度还好——那些从必应过来的人明显更知道自己在找什么。

问题就在这:必应的收录不像 Google 那样会自动跑得很快,它的发现机制更依赖「你告诉它」。而这套「告诉它」的东西,主要就两样——Bing Webmaster Tools 里的 URL 提交,和 2021 年之后被微软、Yandex、Seznam 共同支持的 IndexNow 协议。这篇文章讲的是我怎么把这两件事做成每天自动跑、并且能看出到底有没有用的流程。

一、先分清三件事:发现、抓取、收录

很多站长把「提交 URL」当成「让页面被收录」,这是第一层误解。搜索引擎那边至少有三个独立环节:

第一是发现,它得知道这个 URL 存在。sitemap、站内链接、外链、以及各种提交接口,解决的都是这一步。第二是抓取,它得真的来你的服务器把 HTML 取走。这一步卡在服务器响应、robots.txt 规则、抓取配额上。第三才是收录,它对抓到的内容做质量判断,决定要不要放进索引、放进哪个查询的候选集。

把这三层分开之后,很多「提交了没用」的抱怨就有解释了:你提交了 URL,只是完成了第一步。如果抓取配额被耗在了一堆参数页上,或者服务器在它来抓的时候返回了 503,那提交多少次都不会变。所以接下来的每一步,我都会先确认自己在修哪一层。

二、Bing Webmaster Tools:三个真正有用的面板

必应站长工具的界面信息密度很高,但对个人站长真正有用的其实只有三块。

第一块是「站点资源管理器」(Site Explorer)里的 URL 检查。把任意一个 URL 贴进去,它会告诉你这个 URL 有没有被发现、有没有被抓取、有没有被索引,以及最后一次抓取的时间。这个信息是排障的起点:如果显示「已发现未抓取」,问题在抓取层;如果显示「已抓取未索引」,问题在内容层;如果显示「未发现」,说明发现层就没通,先去看 sitemap 和内部链接。

第二块是「抓取信息」(Crawl Information)。这里有每天的抓取请求数、响应码分布、以及最常被抓的 URL 列表。我在这里抓到过一次问题:某个日期的抓取量突然掉到平时的一成,响应码分布里 5xx 占到四成。原因是那两天服务器在做磁盘迁移,IO 打满,PHP 超时。也就是说,我提交的那些 URL 不是没人管,而是来抓的时候我自己的站挂了。

第三块是「站点地图」。必应对 sitemap 的处理相当依赖 lastmod,如果你的 sitemap 里 lastmod 永远不变,它就会认为站点没更新,抓取频率自然会降。这一点我在另一篇文章里专门写过,这里只强调:提交 sitemap 只是「告诉它去哪找」,真正决定它来不来的,是它上一次来的时候拿到的内容有没有变化。

三、URL 提交的每日配额,怎么用才不浪费

必应站长工具的手动提交是有每日配额上限的,具体数字会随站点权重变化。配额不大,很多站也就几百条一天,而一次全站 sitemap 重提可能就上千条。所以核心问题不是「怎么多提交」,而是「提交什么最值」。

我给自己定的优先级是这样的:

第一优先,新发布的文章。这部分每天也就十几到几十条,占不了多少配额,但收益最直接——新内容越早被发现,越早进入抓取队列,尤其是时效性强的技术文章。

第二优先,内容有实质更新的旧文章。改标题、补章节、修正过时命令,这些改动如果被索引吃掉,等于白改。这类提交我会在发布更新的脚本里顺手带上,不额外做判断。

绝不提交的:分类页、标签页、分页、搜索结果页、带 UTM 参数的链接。这些页面要么不值得被索引,要么是同一内容的重复形态。把配额撒在这里,是最常见的浪费方式。

有一个细节值得说:提交前先确认目标页面的 HTTP 状态是 200。我在脚本里加了一道检查,如果返回的不是 200 就跳过并告警。原因是曾经有一次重定向规则写错,提交的 URL 全部 301 到首页,必应那边记了一笔「该 URL 重定向」,之后再想让它抓,优先级就更低了。

四、IndexNow:一次提交,多家生效的协议

IndexNow 相比站长工具的手动提交,最大的区别是它走的是一个开放的 HTTPS 接口,不需要登录、不需要 token,你只要证明「你有权提交这个域名下的 URL」。目前的参与方主要是必应、Yandex、Seznam、Naver 等,Google 明确表示不用这个协议(它有自己的 Indexing API,但只针对招聘和直播结构化数据)。

证明所有权的方式是「密钥文件」:你生成一个 8 到 128 位的十六进制字符串作为 key,然后把这个 key 的内容放到站点根目录下一个以 key 命名的 txt 文件里,例如 https://你的域名/a1b2c3d4e5f6.txt,文件内容就是这串 key 本身。搜索引擎收到提交请求时会去取这个文件做校验。

提交的方式有两种。一种是 GET,把参数拼在地址里,适合一次提交少量 URL;另一种是 POST,把 JSON 体发过去,适合批量。批量提交的格式大致长这样:

{
  "host": "www.example.com",
  "key": "a1b2c3d4e5f6a7b8c9d0e1f2a3b4c5d6",
  "keyLocation": "https://www.example.com/a1b2c3d4e5f6a7b8c9d0e1f2a3b4c5d6.txt",
  "urlList": [
    "https://www.example.com/new-post-1.html",
    "https://www.example.com/new-post-2.html"
  ]
}

接口地址是 https://api.indexnow.org/indexnow,一次最多提交一万条,实际使用时一天十几条完全用不完。返回码的语义要记清楚:

200 表示提交成功并被受理。202 表示收到了,但 key 校验还在进行中,这个最常见,别以为失败。400 是格式错误,通常是 JSON 字段名写错或者 URL 不是绝对地址。403 是 key 校验不通过,九成是 key 文件路径不对或内容多了空格换行。422 是 host 与 URL 不匹配,或者 URL 不属于这个 host。429 是提交太频繁,需要退避。

我第一次接的时候就踩了 403:key 文件是用编辑器保存的,末尾多了一个换行。协议要求文件内容就是 key 本身,多一个字节都不行。用 printf 而不是 echo 写这个文件,能省掉一次排查。

五、怎么接进自己的发布流程

我的站是 PHP + MySQL 的内容站,发布走 XML-RPC。接入点的选择很简单:文章发布成功、拿到 cid 之后,拼出正式 URL,异步发一次 IndexNow。这里有两个原则。

第一,绝不能让提交失败影响发布。IndexNow 是一个第三方接口,它挂了、慢了、限流了,都不能让发布流程回滚。所以我把它放在发布成功之后,用短超时(5 秒)、忽略返回、只记日志。

第二,只在 URL 真正对外可见之后提交。如果站点有 CDN,新页面上线之后 CDN 可能还在回源,这时候提交过去,搜索引擎抓到的是 404 或者旧内容。稳妥的做法是发布后先自己 curl 一次确认 200 且内容对得上,再提交。我的脚本里这一步跟发布后的 HTML 转义检查合并在一起了,反正都要请求一次。

下面是我用的一个最小实现,改成自己的域名和 key 就能跑:

import json
import time
import urllib.request

HOST = 'www.example.com'
KEY = 'a1b2c3d4e5f6a7b8c9d0e1f2a3b4c5d6'

def submit(urls):
    if not urls:
        return
    body = json.dumps({
        'host': HOST,
        'key': KEY,
        'keyLocation': f'https://{HOST}/{KEY}.txt',
        'urlList': urls,
    }).encode('utf-8')
    req = urllib.request.Request(
        'https://api.indexnow.org/indexnow',
        data=body,
        headers={'Content-Type': 'application/json; charset=utf-8'},
        method='POST',
    )
    try:
        with urllib.request.urlopen(req, timeout=5) as r:
            return r.status
    except Exception as e:
        print('indexnow failed:', e, flush=True)
        return None

调用它的地方,我只在「新文章发布」和「老文章实质性更新」两个动作后放。不要每次保存草稿都触发——草稿的 URL 对外是 404,提交只会给搜索引擎留下坏记录。

六、怎么判断它到底有没有用

这是最容易忽略的一步:提交了半天,没人验证效果,最后就变成一个安慰剂。我的验证方法是看三个时间序列。

第一个是必应站长工具里的「已索引 URL 数」。这个数字应该跟你实际发布的 URL 数在同一量级,并且在持续发布的情况下缓慢上升。如果它长期停在某个值不动,说明新增的内容根本没进索引,回去看抓取信息。

第二个是抓取日志里 Bingbot 的抓取时间分布。我特别关注「新文章发布到 Bingbot 首次抓取」的间隔。接入 IndexNow 之前,这个间隔平均是四五天,有些页面干脆不来;接入之后,大部分新文章在 24 小时内被抓。

第三个是「已发现未抓取」的积压量。URL 检查工具里这一类是最值得关注的——它说明发现了,但抓取配额排不上它。积压长期不降,源头往往是站点有太多低价值 URL 在跟新文章抢配额,这时候该做的是清理,而不是继续提交。

我把这三项写进每月初的一次十分钟检查里:打开站长工具,看三个数字,跟对上个月的记录比一下。这个动作很轻,但能提前一两个月发现收录趋势的变化,而不是等流量掉了才回头找原因。

七、几个容易踩的细节

www 与裸域要统一。提交的 host 必须跟页面的 canonical 完全一致。如果你的站既能在 www 下访问也能在裸域访问,先做 301 统一,再提交,否则 IndexNow 的 host 校验会给你 422,而你还以为接口坏了。

URL 里不要带跟踪参数。带 ?utm_source= 的链接提交上去,即使被抓,也是被当成独立 URL 处理,反而制造重复内容。提交前统一做一次参数剥离。

HTTPS 证书要对提交的域名有效。搜索引擎来校验 key 文件的时候,会走 HTTPS。如果证书链不完整导致部分客户端校验失败,key 校验也会跟着失败,表现为莫名其妙的 403。这个我在另一篇讲证书续期的文章里详细写过,两个问题经常是同一个根因。

IndexNow 不等于收录保证。它只是把「这个 URL 变了」这个信号更快地递过去。页面质量不行、内容跟已有页面高度重复、或者站点整体权重太低,提交之后照样不会进索引。工具能做的只是减少延迟,不能替代内容本身。

回到开头那个「必应有了、Google 没有」的反向情况——其实两个方向都要做。一个人维护站点,最大的风险不是某个渠道没做好,而是把希望全押在一个渠道上,同时又懒得做那些「一次配置、长期自动跑」的小事。IndexNow 的部署成本大概是半小时,之后每一天都在替你干活。这类投入的性价比,比反复研究某个关键词怎么埋要高得多。

Last modification:November 17th, 2026 at 08:27 pm

Leave a Comment