为什么你的站点几万页，Google 只收录几百页
很多站长遇到过一个悖论：站点内容明明做得辛辛苦苦，Sitemap 也提交了，可 Search Console 里的"已编入索引"页面数长期卡在几百，几万篇内容绝大多数显示"已发现-尚未编入索引"。有人以为是内容质量不行，其实很多时候问题出在一个被严重忽视的概念上——抓取预算（Crawl Budget）。
Googlebot 不是无限资源的爬虫。它会对每个站点分配一个相对的抓取容量，决定在单位时间内来抓多少次、抓多少页。当这个容量被大量无价值 URL 浪费掉，真正需要收录的内容就排不上队，收录速度慢、收录率低就成了必然。本文系统讲清楚抓取预算的构成、如何诊断浪费、以及做哪些优化能实实在在地提升收录。
一、抓取预算到底是什么
Google 官方把抓取预算定义为两个因素的乘积：
- 抓取速率限制（Crawl Rate Limit）：Googlebot 为了避免把服务器压垮，会对每个站点设定一个抓取上限。这个值会根据你服务器的响应速度和承载能力动态调整。
- 抓取需求（Crawl Demand）：Google 认为你的站点有多少值得抓的内容。取决于内容的受欢迎程度、更新频率、以及 URL 的"重要度"信号。
关键结论：抓取预算不是一个固定值，它既有上限（速率），也有需求驱动（需求）。 想提升收录，就要同时在这两端做文章——一边让服务器更快更稳以抬高速率上限，一边让 URL 更"值得抓"以增加抓取需求，同时把浪费预算的垃圾 URL 清理干净。
二、诊断：你的抓取预算被浪费了吗
在动手优化前，必须用数据确认问题。Search Console 的"设置 → 抓取统计信息"和"编制索引 → 页面"报告是两个主战场。
1. 看抓取统计的响应分布
在"抓取统计信息"里，重点看 按响应分类 的抓取请求比例。健康的站点，200 应该占绝对多数。如果出现以下情况，说明预算在被浪费：
- 大量 301/302 重定向被抓：每个重定向都要消耗一次额外抓取。站内链接和 Sitemap 应该直接指向最终 URL，而不是让人先跳到重定向。
- 大量 404 被抓：旧链接、错误拼接的 URL 被反复抓取。要确认这些 404 是否还需要保留或该返回 410。
- 5xx 比例偏高：服务器不稳定会导致 Googlebot 降低抓取速率，直接压缩预算，这是最致命的。
2. 看"已发现但未编入索引"的规模
在页面索引报告里，如果"已发现-尚未编入索引"的数量远大于已收录，说明 Google 知道这些 URL 存在，但排队排不上。可以点进去看示例 URL，判断是不是下面这几类：
- 带参数的分页、筛选、排序 URL（
?sort=、?filter=、?page=） - 标签页、归档页、日历页等自动生成的列表页
- 站内搜索结果页（这个必须禁止抓取！）
- 会话 ID、跟踪参数产生的重复 URL
三、优化一：提升服务器响应速度
这是最直接、回报最高的优化。Googlebot 会根据你的服务器响应时间来调整抓取速率——响应越快，能抓的就越多。
具体做法包括：
- 给动态页面加缓存：用 Nginx fastcgi_cache 或 Redis 缓存页面渲染结果，把 TTFB（首字节时间）压到 200ms 以内。可以用
curl -o /dev/null -s -w "%{time_starttransfer}\n" https://你的域名/实测。 - 优化数据库慢查询：开慢查询日志
slow_query_log = ON，把long_query_time设为 1 秒，找出拖慢列表页的查询并加索引。 - 消除 5xx 错误：Googlebot 遭遇 5xx 会大幅降低抓取速率。用监控确保 5xx 率长期接近 0。前面文章讲过 OOM 和 502 的排查，这两件事其实和 SEO 直接相关。
- 限制单次抓取压力：如果你的服务器确实扛不住，可以在 Search Console 里手动调低抓取速率上限，给服务器减压，反而可能提升长期收录稳定性。
四、优化二：清理浪费预算的 URL
在 robots.txt 里精准屏蔽无价值 URL，是提升收录率最立竿见影的手段之一。
User-agent: * Disallow: /search Disallow: /*?s= Disallow: /*?sort= Disallow: /*?filter= Disallow: /tag/ Disallow: /author/ Disallow: /wp-admin/ Disallow: /cart Disallow: /checkout Allow: /wp-admin/admin-ajax.php Sitemap: https://你的域名/sitemap.xml
几个要点：
- robots.txt 只阻止抓取，不阻止收录。如果一个 URL 已被外部链接指向，即使 disallow 了它仍可能出现在搜索结果里（只是没有描述）。所以更彻底的做法是加
noindex——但注意，noindex需要先被抓到才生效，所以对于纯垃圾 URL，robots.txt 是更经济的选择。 - 不要让 robots.txt 屏蔽 CSS/JS。Googlebot 需要这些资源来正确渲染页面，屏蔽它们会让移动端渲染评估失败，反过来压低收录。
- 分页的处理要谨慎。不要简单粗暴地 disallow 所有
?page=，否则深层的商品/文章可能无法被发现。更好的做法是给分页 URL 加canonical指向主列表页，或使用 rel=next/prev 生态里的最佳实践。
五、优化三：用 Sitemap 引导有效抓取
Sitemap 是给 Googlebot 指路的地图，用好了能显著提升重要内容的抓取优先级。
- 只放 200 状态、canonical 自指的 URL。把 301、404、noindex 的 URL 放进 Sitemap 会浪费抓取，也会被 GSC 报错。
- lastmod 必须准确。这是 Google 判断是否需要重抓的最重要信号。如果你每次生成 Sitemap 都无脑刷成当前时间，lastmod 就失去意义，Google 会直接忽略它。
- 按内容类型分片。文章、产品、分类各一个 Sitemap，通过 Sitemap 索引文件（sitemap index）统一提交，便于在 GSC 里分别观察抓取和收录情况。
- 大站要用分片。单个 Sitemap 上限 5 万 URL 且不超过 50MB 未压缩，超出要拆分。
同时在 robots.txt 里用 Sitemap: 声明，并在 GSC 手动提交，双重保险。
六、优化四：内部链接把权重导向重要页面
Googlebot 主要通过链接发现新页面。内部链接结构差，会导致重要页面"藏在深处"永远排不上抓取队列。
- 控制点击深度：任何重要内容都应该在首页起 3 次点击内可达。深于 4 层的页面抓取频率会明显下降。
- 用相关文章、面包屑导航制造横向链接：让每个页面都有若干入口，避免"孤儿页"（除了 Sitemap 没有任何内部链接指向的页面）。
- 锚文本要有意义：不要用"点击这里"，用能描述目标内容的文字，帮助 Google 理解目标页主题。
- 定期检查孤儿页：爬一遍站内链接，找出没有被任何页面链接的 URL，补上入口或清理掉。
七、优化五：让 JS 渲染不留死角
现代站点大量依赖 JavaScript 渲染内容。如果内容只有执行 JS 后才出现，Googlebot 需要额外走一遍渲染队列，这个过程排队更慢、成本更高，会严重拖累收录。
- 关键内容用服务端渲染（SSR）或预渲染，确保首屏 HTML 里就有正文和链接。
- 避免用 JS 动态注入 robots meta 和 canonical，这些最好在服务端输出。
- 用 GSC 的"网址检查"→"已抓取的页面" 查看 Googlebot 看到的 HTML 和渲染后结果，确认内容对爬虫可见。
八、一页纸的抓取预算优化清单
- 服务器 TTFB 压到 200ms 内，5xx 率接近 0（提升抓取速率上限）。
- robots.txt 屏蔽搜索页、参数页、标签页、作者页等低价值 URL。
- Sitemap 只放 200 且 canonical 自指的 URL，lastmod 保持真实。
- 消除站内 301 链，所有内部链接直指最终地址。
- 控制点击深度 ≤3 层，消除孤儿页。
- 关键内容服务端渲染，不依赖 JS 注入主内容。
- 用 GSC 抓取统计和页面索引报告持续监控，优化后 2～4 周观察效果。
抓取预算优化的本质是"把有限的抓取配额花在刀刃上"。它不会像发一篇爆款那样立刻带来流量，但它是决定你几万篇内容到底能收录多少的地基。地基打好了，后续所有内容运营的努力才能真正转化成搜索结果里的曝光。对个人站长来说，这往往是投入产出比最高、却最容易被忽略的一项长期工程。