屏蔽一个 URL 不等于让它别收录
个人站长最容易记混的一条规则是：robots.txt 里的 Disallow 到底在干什么。很多人以为“我在 robots.txt 里把 /search/ 屏蔽了，搜索引擎就不会收录搜索结果页了”。真相恰恰相反：Disallow 阻止的是“抓取”，不是“收录”。
这就带来一个非常反直觉的后果。假设某个外站链接指向了你被屏蔽的 /search/关键词，Googlebot 读 robots.txt 后不会去抓这个页面，但它依然可以把这个 URL 收录进索引——因为外部链接的锚文本 + 链接指向的 URL 就是全部已知信息，没有页面内容可读，它仍会建一条没有摘要的索引记录。而因为你屏蔽了抓取，Googlebot 也就读不到页面上的 noindex 标签，于是这个“无摘要条目”会一直挂在那里。这就是搜索引擎官方文档里反复强调的那句话：不要用 robots.txt 屏蔽需要 noindex 的页面。
noindex 生效的前提，是爬虫能抓到它
<meta name="robots" content="noindex"> 与 X-Robots-Tag: noindex 都是页面级指令：爬虫必须先抓取到页面、解析到这条指令，才会把已有索引删除。所以正确的组合方式是：
场景 A：想让页面彻底消失（大多数情况）
robots.txt：不屏蔽（保持可抓取）
页面：<meta name="robots" content="noindex,follow">
结果：爬虫抓取 → 读到 noindex → 从索引移除
场景 B：只想省抓取预算，不介意被收录
robots.txt：Disallow: /search/
页面：不用动
结果：不抓取，但可能以“无摘要”形式存在索引里
场景 C（危险）：既 Disallow 又指望 noindex 生效
robots.txt：Disallow: /search/
页面：<meta name="robots" content="noindex">
结果：爬虫读不到 noindex → 页面永远留在索引里，且你没法用
Search Console 的“移除网址”工具永久解决（只能临时隐藏）所以那个经典陷阱叫“Disallow 与 noindex 互斥”：两者同时用，等于把 noindex 指令锁进了爬虫进不去的房间里。如果你的站点里既在 robots.txt 屏蔽了某个目录，又在模板里给它加了 noindex，那不是双保险，而是只生效了一半。
顺便排掉一个常见误解：noindex 用 noindex,follow 还是 noindex,nofollow？如果这个页面本身没有值得传递的链接，两种都行；如果它是一个“不该被收录、但里面有指向重要页面的链接”的聚合页，用 noindex,follow 让权重继续往下传。至于 nofollow 与 noindex 是不同的东西：前者管链接关系，后者管页面收录，别混着理解。
Disallow 与 noindex 的取舍决策表
我给自己站点做过一张很简单的判断表，按页面类型直接套，基本不会错：
- 搜索结果页、分页参数页、排序筛选页：优先
noindex,follow，且保持可抓取。它们价值低但数量可能极大，不让抓反而会造成索引里堆一堆无摘要条目。 - 后台目录、API 接口、临时目录：
Disallow。这些不需要被收录，也不需要用 noindex 去“清理”，因为根本没人会外链它们。 - 已被索引的旧内容、下线文章：用
noindex而不是 Disallow，等索引清空后再考虑加 Disallow 或直接 410。 - 测试/预览子域：整站
robots.txt全屏蔽 并且 加 HTTP 基础认证最省事。只屏蔽 robots 的预览站经常被别的搜索引擎漏抓进去，加了 Basic Auth 才是真的墙。 - 标签页、作者页、归档页：先看数量。几十个就保留（它们对内容发现和内链有帮助），几百上千个就用 noindex 或合并，避免把抓取预算耗在近乎重复的列表页上。
判断标准其实可以浓缩成一句话：这个 URL 会不会被别人（尤其是外站）链接到？会 → 用 noindex；不会 → 可以直接 Disallow。因为“被外链的 URL 才可能以无摘要形式进索引”，而外链恰恰是 Disallow 无法阻止的。
用爬虫日志验证，而不是靠猜
规则讲完了，但真正决定收录结果的是搜索引擎的实际行为。验证这件事最直接的办法是看真实的爬虫抓取日志，而不是在 Search Console 里等数据。Nginx 里先把 Bingbot 与 Googlebot 的抓取单独筛出来，统计它们在你站点上的抓取分布：
# 1) Googlebot 抓了哪些路径（按访问量排序）
grep -i "googlebot" /var/log/nginx/access.log \
| awk '{print $7}' | cut -d'?' -f1 | sort | uniq -c | sort -rn | head -30
# 2) 被 robots.txt 挡掉的抓取请求——爬虫会记下这些“拒绝”
grep -iE "googlebot|bingbot" /var/log/nginx/access.log | grep -c "robots.txt"
# 3) 你 Disallow 的路径上，爬虫是不是还在反复尝试
grep -i "googlebot" /var/log/nginx/access.log | grep -c "/search/"更完整的做法是把日志切到 yesterday，按小时统计抓取量，判断抓取预算有没有被浪费在无用 URL 上：
zcat -f /var/log/nginx/access.log.1 \
| grep -i "googlebot" \
| awk '{print substr($4,14,2)}' | sort | uniq -c输出的分布如果集中在深夜、每小时几十次，说明你的站点被抓取量本来就不高；这时候更要珍惜预算，别让 ?sort=、?page= 这类参数页吃掉一多半。
还有一个细节：爬虫日志里的抓取量下降，有可能是 robots.txt 语法写错导致的整站屏蔽。常见错误包括把 Disallow 写成 disalow、漏掉冒号后的空格规范问题（虽然主流爬虫容忍度还行）、路径大小写不匹配（URL 路径是区分大小写的）、以及误写成 Disallow: /。发布 robots.txt 前，用搜索引擎提供的 robots.txt 测试工具逐行验证一次，成本五分钟，能避免一次整站掉出索引的事故。另外注意：robots.txt 一旦上线，搜索引擎可能缓存很久；改动后不要指望立刻生效，用 curl -s https://example.com/robots.txt 确认返回的是 200 且内容正确，别让 CDN 或缓存给你返回一份旧文件——关于这类缓存问题可以看我另一篇讲 CDN 缓存排查的文章。
从 robots.txt 到 noindex 的迁移流程
如果你现在的站点已经踩了“Disallow 屏蔽了需要 noindex 的页面”这个坑，别急着一把全改。我的做法是分三步走，避免索引数据出现大起大落：
- 先放开抓取：把 robots.txt 里这些路径的
Disallow删掉，保留真正不需要抓取的目录。curl -s https://example.com/robots.txt确认线上内容已更新。 - 确保 noindex 已经生效：在页面上（或响应头里）确认
X-Robots-Tag: noindex真的会输出。用curl -sI https://example.com/search/test | grep -i x-robots-tag检查响应头，模板类的改动容易只在部分页面生效。 - 观察索引清理：等搜索引擎重新抓取、读到 noindex 后自行移除。这个过程从几天到几周不等，比手动推快但不瞬时。别在这一步重新加回 Disallow——那会把流程打回原点。
顺带说一句，被索引但不该被索引的 URL 如果量很大，搜索引擎侧也有“移除网址”这类工具，但它是临时隐藏性质的，适合应急止血，不能替代 noindex。真正稳定的做法永远是让页面自己告诉爬虫“我不该被收录”。
常见问题答疑
Q：robots.txt 里 Disallow 之后，页面还会出现在我的搜索结果里吗？可能，以无摘要形式出现。爬虫无法读取页面内容，只能根据链接锚文本建索引条目。想彻底移除，就必须让页面可抓取并带上 noindex。
Q：noindex 加了，多久会从索引里消失？取决于重新抓取的频率。抓取频繁的新站可能几天，长期不更新的老页面可能几周。可以在日志里确认爬虫是否真的重新抓取过那个 URL。
Q：用 Disallow 屏蔽 JS/CSS 会影响收录吗？会。主流搜索引擎需要渲染页面来理解内容，CSS/JS 被屏蔽会导致渲染快照与真实页面严重不一致，进而影响排名。除非是构建产物有严格的安全要求，否则不要屏蔽静态资源目录。
Q：sitemap 里列出被 noindex 的 URL，冲突吗？是信号冲突。搜索引擎收到“我提交它”和“别收录它”两种相反的提示，通常以 noindex 为准，但会浪费抓取预算。sitemap 只放你希望被收录的 URL。
Q：爬虫根本不抓我的站，改 robots.txt 有用吗？没多大用。抓取量极低通常是站点权重、外链、内容更新频率的问题，先解决“值得抓”的问题，再谈抓取预算的分配。日志里连爬虫身影都少，说明瓶颈不在 robots.txt。
把 robots.txt 与 noindex 的分工理清楚之后，我在检查收录时最先看的两样东西就固定下来了：线上 robots.txt 的实际内容，以及页面上是否真的输出了 noindex。这两条都确认过，大部分“收录了不该收录的页”的问题就只剩下等待爬虫重新抓取了。