先承认一个事实:百度和必应的收录逻辑不一样
做中文站的站长几乎都遇到同一个困惑:Google 那边几天就把新文章收了,必应也有,唯独百度搜不到;或者反过来,百度收了首页和栏目页,内页一片空白。然后就开始怀疑人生——是不是被惩罚了、是不是服务器有问题、是不是域名有历史。
先把话说明白:百度与必应在「发现路径」「收录门槛」「内容判定」这三件事上的侧重点不同,所以同一批文章出现差异是常态,不是异常。这篇要做的是把差异变成可操作的检查点,而不是每次收录慢就去重装站点地图、批量提交 URL。
三个工具是这篇的基础:百度的资源平台(搜索资源平台)、必应的 Webmaster Tools(站长工具)、以及服务器自己的 access_log。前两个告诉你「搜索方看到了什么」,第三个告诉你「它真的来过没有」。三者对不上时,永远先看日志。
第一步:确认爬虫到底来没来
在抱怨「不收录」之前,先把日志里的爬虫行数拉出来。这一步能过滤掉一大半误判。
# 百度蜘蛛曾用名 Baiduspider,UA 里带 Baiduspider 字样
grep -c 'Baiduspider' /var/log/nginx/access.log
# 必应蜘蛛
grep -c 'bingbot' /var/log/nginx/access.log
# 看它具体抓了哪些路径,按路径聚合
awk '$0 ~ /Baiduspider/ {print $7}' /var/log/nginx/access.log \
| sed -E 's#/[0-9]+/#/:n/#g; s#\?.*$##' | sort | uniq -c | sort -rn | head -20
# 看抓取结果状态码分布
awk '$0 ~ /bingbot/ {print $9}' /var/log/nginx/access.log | sort | uniq -c判读规则要记牢三种情况。第一种,日志里完全没有蜘蛛记录,说明问题在「发现层」——sitemap 没提交成功、robots.txt 屏蔽了、域名解析或 CDN 把爬虫挡在门外。第二种,蜘蛛来了但只抓首页,说明内链结构或栏目页出了问题,它找不到更深的路。第三种,蜘蛛来了、抓的是新文章,但状态码是 404/403/500,那说明你的服务端对它有特殊对待,最常见的是 CDN 的「防爬虫」功能把正规蜘蛛也给拦了。
第三种最坑。很多 CDN 默认开启的 Bot 防护策略只能识别几个知名 UA,百度蜘蛛的 IP 段如果没有更新到白名单里,就会被要求验证或者直接 403。判断方法很简单:找 CDN 控制台的访问日志,或者直接在源站日志里对比有没有 403 集中出现。确认之后,把官方的蜘蛛 IP 段加进白名单,别用 UA 判断,UA 可以伪造。
第二步:robots.txt 与 sitemap,两边都要能取到
这个环节的问题往往是「本地看着好好的」。curl 一次,注意要模拟爬虫的 UA 和从公网取,而不是从本机 127.0.0.1:
# 分别用两个蜘蛛的 UA 取 robots 与 sitemap
curl -s -A 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' \
https://example.com/robots.txt
curl -s -A 'Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)' \
https://example.com/sitemap.xml -o /tmp/sm.xml -w '%{http_code} %{size_download}\n'
# 检查 sitemap 里的 URL 是否存在 404 或跳转
grep -oP '\K[^<]+' /tmp/sm.xml \
| head -20 | while read -r u; do
printf '%s %s\n' "$(curl -s -o /dev/null -w '%{http_code}' "$u")" "$u"
done 常见三个坑。一是 robots.txt 里写了 `Disallow: /`,本来是想屏蔽后台目录,结果写成了根目录。二是 sitemap.xml 被 CDN 缓存成了旧版本,新文章一直不在里面——修完记得在 CDN 上刷新这个路径,或者给 sitemap 设置不缓存。三是 sitemap 里的 URL 带了 http 或者 www 不一致的形态,被 301 之后,蜘蛛记的是最终地址,而 sitemap 里的旧形态一直是错的,长期下去会让「已提交」和「已收录」对不上号。
sitemap 的 lastmod 必须写真实的修改时间。如果每次生成都用当前时间,蜘蛛几次比对下来发现所有条目都在变,就会降低对这个文件的信任,最后变成「提交了但不当回事」。小站文章量不大,直接取数据库里的 modified 字段是最省事且正确的做法。
百度和必应都支持主动推送,但通道不同。必应用 IndexNow,只要在站点根放一个密钥文件并用 POST 推送即可,一次推送对支持 IndexNow 的引擎都有效。百度走资源平台的普通收录 API,需要 token,有每日配额限制。两者的共同点是:推送只影响发现速度,不影响是否收录。页面本身有问题,推一百次也收不了。
第三步:分清「没抓」和「抓了没收」
这是全篇最重要的一节。收录问题分两类,处理方式完全不同,而大部分人在第一类上做的努力,其实问题出在第二类。
没抓,是技术问题。表现为日志里没有对应 URL 的访问记录。原因可能是:内链里没有指向它、sitemap 里没有它、robots 屏蔽了、站内搜索页与附件页耗掉了抓取配额、服务器响应太慢导致蜘蛛放弃。这类问题在日志里能直接看到,改的是结构。
抓了没收,是内容与质量判定。表现为日志里能看到蜘蛛访问该 URL 返回 200,但几天后仍然搜不到。原因可能是:内容与已有页面高度重复、页面主要价值信息在 JS 里渲染而蜘蛛拿不到、标题与正文不匹配、页面过薄、站点整体权重太低排不上。这类问题改配置没有用,只能改内容。
判断方法:对每篇想收录的文章,从日志里筛出该路径是否有蜘蛛访问、状态码是多少、抓取时间距发布多久。我通常做成一个表格,三列就够了:URL、是否有蜘蛛访问、首次访问距发布天数。表拉出来之后,处理顺序自然就清楚了——先解决「没访问」的,再处理「访问了但没收」的。
百度和必应在这件事上的差别在于耐心。必应对新站的容忍度更高一些,抓到新页面后给一次机会;百度的观察期更长,且更看重站点整体的持续更新与稳定的可访问性。所以新域名下的文章,百度两周没收录并不算异常,但如果一个月连抓都没抓,那就是结构问题,别等了。
第四步:让页面本身「可被判断」
内容判定的技术前提是:蜘蛛拿到的 HTML 里,确实有正文。这件事在纯 PHP 模板站上通常没问题,但在下面几种情况会出问题。
正文在 JS 里拼。某些主题用前端请求接口渲染列表页或者文章摘要,蜘蛛拿到的首屏 HTML 里只有骨架。这类页面对收录非常不友好。判断很简单,curl 一次看源码里有没有正文关键词:
curl -s 'https://example.com/1234.html' | grep -c '文章里的某个独有词'
# 返回 0 说明正文不在初始 HTML 里正文被图片包着。整篇文章做成一张长图,页面上只有 img 标签。这种页面几乎不可能有好的收录表现,也没有任何补救的技术手段。
canonical 指错。模板里写死了 canonical 指向首页,或者列表页的 canonical 指向分类页,会让蜘蛛认为当前页是重复内容直接丢弃。这类 bug 很隐蔽,因为页面看起来完全正常。检查方法是用浏览器开发者工具看源码里的 link rel=canonical,或者批量 curl 抽检:
for u in $(seq 1000 1010); do
printf '%s %s\n' "$u" \
"$(curl -s "https://example.com/$u.html" | grep -o 'rel=.canonical.[^>]*' | head -1)"
done标题与正文语义脱节。标题写的是「Nginx 性能调优」,正文八段讲的是 WordPress 插件怎么装。这种页面即使被抓,也很难在对应的词上排上去,因为相关性判定过不去。
第五步:别让站内页面吃掉抓取配额
小站常有一个被忽略的问题:站内搜索页、标签页、分页深链、日历归档页、附件页,这些页面的 URL 数量可能是文章的十倍。蜘蛛的抓取次数有限,被这些没价值的页面消耗掉之后,真正该收的文章就排在后面了。
处理方式分三档。第一档,站内搜索结果页和附件页直接 noindex:结果页是动态生成的,收录了只会造成重复;附件页除图片本身外没有独立价值。
第二档,标签页按内容量决定。一个标签下只有一两篇文章的,noindex follow;超过十篇的,值得收录,给它写一段手工描述,别让它是纯列表。
第三档,分页。第一页 index,第二页开始 canonical 指向自身(不是指向第一页,那是错的,会导致第二页内容永远不收录),但不放进 sitemap。
做完这些之后,最好再看一次日志里蜘蛛访问最多的路径是什么。如果排在前面的仍然是分页和标签页,说明 robots 或 meta 没生效,回头检查有没有被 CDN 缓存住、或者模板里 noindex 写在了错误的 head 位置。
第六步:建立一个每周十分钟的核对习惯
收录这件事没法一次做完,它是持续状态的观测。我的做法是每周固定花十分钟看三个数,比每天刷搜索框有用得多。
数一,两个平台的新增收录数。百度的资源平台有索引量曲线,必应站长工具也有页面统计。看的是趋势,不是绝对值。一周内新增为零且提交正常,就要回头查结构。
数二,抓取频次与平均响应时间。百度资源平台的抓取诊断里能看到每次抓取的耗时。如果平均响应超过两秒,蜘蛛的抓取频次会明显下降。这时候该做的是去掉首页上那些拖慢响应的第三方脚本,而不是继续提交 URL。
数三,日志里蜘蛛的 5xx 比例。任何 5xx 都会让蜘蛛降低对站点的信任。用一条命令就能算:
awk '$0 ~ /(Baiduspider|bingbot)/ {print $9}' /var/log/nginx/access.log \
| sort | uniq -c | sort -rn
# 5xx 占比超过 1% 就要查:是不是 PHP-FPM 超时、是不是备份任务在白天跑这三件事做完,大部分「收录为什么这么慢」的问题都会有一个明确方向。真正需要耐心的部分是内容质量与站点权重,那是以季度为单位的变化,任何工具都无法加速。
几个反复出现的误判
「site: 查不到就是没收」。site 指令的结果是抽样,尤其新站,不稳定。用平台里的索引量数据判断更可靠。
「收录数掉了就是被惩罚」。更常见的原因是删了页面、改了 URL 结构、或者标签页被批量 noindex。掉量与站内改动的时间点对齐,先查自己。
「必应收了百度不收,说明百度有问题」。两者本来就是独立索引。必应对 IndexNow 的响应很快,百度更依赖站点的持续更新信号。这个差异在半年内会自然收敛。
「频繁提交能加快收录」。主动推送有配额,且只影响发现速度。内容判定的问题靠提交解决不了,反而会因为提交了大量低质量 URL 而拉低整体信任。
把这几条写在笔记里,下次再焦虑收录的时候,先按顺序过一遍:日志有没有蜘蛛、sitemap 对不对、页面能不能被判断、有没有内容重复。这四关过后,剩下的就只是时间问题。