robots.txt 写错一个字就白干:语法坑、noindex 优先级与抓取配额的正确用法

robots.txt 不是「一键屏蔽」按钮

几乎每个站长都知道站点根目录要有一个 robots.txt,但真正把这份文件当工程对待的人不多。大多数人的做法是从别的站复制一份,改改 Sitemap 的域名就完事。问题在于,robots.txt 是搜索引擎爬虫进站后读的第一份文件,它写错一个字,后果可能是整站被拒之门外,也可能是你精心准备的目录被扒得一干二净。

更微妙的是:爬虫对 robots.txt 的处理差异非常大。Google 遵循 RFC 9309 的规范走得比较严谨,百度、必应、Yandex 各有各的容忍度,而国内一些爬虫干脆不看。所以写 robots.txt 之前,先要接受一个事实——它不是安全机制,只是一份「君子协定」。

先弄清楚它到底控制什么

robots.txt 只能做两件事:

  • 告诉遵守协议的爬虫哪些路径不要抓。
  • 告诉它们Sitemap 在哪。

它做不到的事,比能做到的多得多:

它不能阻止页面被索引。被 Disallow 的 URL,只要别的地方有链接指向它,爬虫依然可能把它作为「仅 URL」的条目收录进索引,只是不抓正文。所以你会在搜索结果里看到一个没有摘要的空壳条目。这种情况比直接 404 还难受,因为用户点进去是一片空白。

它不能保护隐私。后台路径、备份文件、日志目录,写进 Disallow 等于把路径清单公开广播出去。真正该做的是用 404/403 拦住,或者干脆不要把这些文件放在 Web 根目录。

它不会即时生效的清理索引。已经在索引里的页面,加 Disallow 之后爬虫不再抓取,也就永远看不到你在页面里放的 noindex,那些页面会长期挂在索引里无法更新,也无法移除。这是最常见的死循环。

语法只有五条,但每条都有坑

规范里的指令屈指可数:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /*?replyto=
Sitemap: https://www.zz1984.com/sitemap.xml

坑一:大小写与空格。字段名 User-agent 是大小写不敏感的,但值不是。路径 /Admin/ 和 /admin/ 是两个不同的路径。冒号后面的空格可有可无,但为了可读性建议保留一个。

坑二:Disallow: / 是整站屏蔽。这是最典型的翻车方式:测试时在临时环境加了 Disallow: /,上线时忘了删,两周后才发现搜索引擎里一条新收录都没有。上线检查清单里必须有这一条。

坑三:路径匹配是前缀,不是 glob。Disallow: /tmp 会同时屏蔽 /tmp、/tmp/、/tmpabc、/temp——只要以 /tmp 开头就中。Disallow: /tmp/ 加斜杠才是收敛到目录。这个差别在小站上不显眼,但在路径命名有前缀重叠的站上影响很大。

坑四:通配符的支持度。*(任意字符)和 $(结尾锚定)是 Google、必应支持的扩展,百度也基本支持,但不是所有爬虫都认。所以原则是:能用固定路径就不要用通配符。

坑五:多个 User-agent 组的合并规则。爬虫会选中与自己名字最匹配的那一组,而不是合并所有组。只有 * 那一组是兜底。如果你想给百度单独宽松、给其他严格,就写两组,不要指望它们叠加。

几个真实会踩的写法错误

下面这些写法我都见过,而且每一条都造成过真实的收录损失:

1. Sitemap 用了非绝对地址。Sitemap: /sitemap.xml 是错的,必须带协议和域名。而且 http 与 https、www 与裸域混用会让爬虫把它当成另一个站点的 Sitemap。

2. Disallow 了 CSS 和 JS。早年流行 Disallow: /wp-content/ 或者 Disallow: /assets/,本意是省抓取配额。但移动端友好度检测、Core Web Vitals 评分、结构化数据校验都需要爬虫能看到样式和脚本。现在的做法是放开 CSS/JS,用 noindex 或者干脆不要生成那些无用页面来控制索引量。

3. 注释符号后面跟中文在某些解析器上会乱码。注释尽量用英文,或者直接不写注释——占位注释对爬虫毫无价值,只对你的一半记忆有价值。

4. 文件用 BOM 开头。用 Windows 记事本保存会让 UTF-8 文件带上 BOM,Google 能容忍,但某些爬虫会把第一行 User-agent 解析成乱码,整份文件失效。用编辑器另存为「UTF-8 无 BOM」,或者直接 printf 写。

5. 换行符混用。\r\n 和 \n 混在一起,某些老爬虫会截断。Linux 上用 file robots.txt 检查一下,有 CRLF 的话用 dos2unix 转掉。

noindex 与 Disallow:优先级关系必须搞对

这是整个 SEO 技术层面最容易被搞错的一组关系。结论说在前面:

如果一个页面需要从索引里移除,用 noindex,不要用 Disallow。

原因很简单:noindex 是写在 HTML 的 meta 标签或者 HTTP 头里的,爬虫必须抓取这个页面才能看到它。而 Disallow 恰恰禁止抓取。两个同时用,爬虫被拦在门外,永远看不到 noindex,页面就一直留在索引里。

正确的顺序是:先让页面可以被抓取(不加 Disallow),加上 <meta name="robots" content="noindex,follow">,等搜索结果里确认页面消失了,才可以考虑加 Disallow 省配额。中间这个「等」可能需要几周。

对应地,如果页面是临时性的、不希望被索引但希望保留抓取以传递链接权重,用 noindex,follow。如果是分页的后续页面,用 noindex,follow 保留内链权重比用 canonical 指向第一页更干净——不过这一条有争议,Google 官方倾向于用自指 canonical 处理分页,具体看你的站型。

抓取配额:robots.txt 与 Crawl Budget 的关系

「抓取配额」这个词容易误导。它不是搜索引擎给你分配的固定额度,而是爬虫根据你站点的响应速度、更新频率、权威度综合决定的一个动态量。rotobs.txt 能影响的只是「把配额浪费在无价值页面上」这件事。

哪些页面在浪费配额?

  • 搜索结果页(/search?q=)——通常能生成无限多 URL,且内容重复。
  • 带跟踪参数的 URL(?utm_source=、?from=)——同一内容多个地址。
  • 分页深到第 50 页之后的列表——爬虫很少爬到那里,但 URL 空间巨大。
  • 日历归档(/2026/11/15/)在没有内容的日子也生成空页面。
  • 标签页在标签数量爆炸之后(小站常有几百个只有一个条目的标签)。

处理顺序我一般是这样:能 noindex 的先 noindex(搜索结果页、跟踪参数页),能合并的合并(用 canonical 把参数页指回主地址),真正不值得抓取的(比如后台、API、内部预览)才用 Disallow。

特别提醒:不要 Disallow 搜索结果页。很多站的做法是 Disallow: /search,但这类页面往往同时被站内大量链接指向,爬虫抓不到就永远不知道它该被 noindex。更好的做法是让搜索结果页返回 noindex 头,同时用 nofollow 避免爬虫顺着结果里的链接一路爬下去。

验证:不要用「我觉得写对了」作为验收标准

robots.txt 的验证有明确的工具路径,而且必须用真实抓取验证,不能只靠肉眼读文本:

1. 语法验证。Google Search Console 有 robots.txt 报告,会直接告诉你哪一行解析失败。必应站长工具也有类似功能。这一步能抓出 BOM、换行、语法拼写问题。

2. URL 级测试。Search Console 的「网址检查」输入一个具体 URL,它会告诉你这个 URL 是否被 robots.txt 阻止。这比读文件可靠得多,因为解析器可能和你的理解不一样。

3. 抓取实测。用 curl 模拟爬虫:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
  https://www.zz1984.com/robots.txt

看 Content-Type 是不是 text/plain,状态码是不是 200。这里有个隐藏坑:如果你的服务器开了 CDN,而 CDN 对 .txt 做了缓存,改完 robots.txt 可能要等缓存过期才生效。用带时间戳的 URL 验证只能证明源站是对的,不能证明 CDN 已经刷新。改完 robots.txt 一定要在 CDN 后台主动刷新这个文件。

4. 收录验证。改完之后看一周内的 site: 数量和抓取统计。如果抓取次数断崖式下跌,第一件事就是回去看 robots.txt。

一个可以直接用的模板

下面这份是我在几个内容站上用的结构,按需删减。注意每一段都有对应理由,不要盲抄:

User-agent: *
# 后台与内部入口:不给路径提示也不让抓
Disallow: /admin/
Disallow: /action/
Disallow: /install.php
# 带参数的重复内容
Disallow: /*?replyto=
Disallow: /*?from=
# 搜索与预览
Disallow: /search/
Disallow: /preview/
Allow: /

User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

Sitemap: https://www.zz1984.com/sitemap.xml

几个说明:Disallow 在前、Allow: / 在后是习惯,顺序在多数解析器里不影响结果,因为最长匹配优先。Crawl-delay 只有 Yandex 和必应严格支持,Google 明确不支持,所以它只能算一种「请求」,别指望靠它挡住压力。真正要限速第三方爬虫,得在 Nginx 层做 limit_req 按 User-agent 分组。

另外一点:Disallow: /action/ 在 Typecho 上会挡住 XML-RPC 端点,如果你确实不需要外部调用发布接口,这是好事;但如果还在用接口发布,就把它去掉。

多子域与站点迁移时的处理

robots.txt 的作用域严格限制在同一个 host。你在 www.zz1984.com 上写的规则,对 m.zz1984.com 完全不生效。移动站、静态资源站、图片站如果各自有域名,每个域名下都要有独立的 robots.txt。

站点迁移(换域名、换协议)时,新站的 robots.txt 必须从第一天就允许抓取,同时老站的 robots.txt 不能改成 Disallow: /——那会阻断爬虫读取 301 规则,导致迁移信号传不过去。正确做法是老站保留正常的 robots.txt,用 301 把老 URL 指到新 URL。

还有一个容易被忽略的场景:测试环境如果用了正式域名的子域(比如 test.zz1984.com),必须加 HTTP 基本认证或者在 robots.txt 里整站 Disallow。搜索引擎偶尔会爬到这些地方,一旦收录了测试内容,后面清理很麻烦。

把它当成配置项,而不是一次性文件

最后说一个心态问题。robots.txt 在很多团队里被当成「上线前丢一个文件进去」的一次性动作,改完之后就再也没人看了。但它是活的东西——你加了新栏目、上了新工具、接了新 CDN、做了站点改版,每一样都可能让原来的规则失效或者变得有害。

我的做法是把 robots.txt 纳入变更记录:每次改动写清楚为什么改、改之前是什么、验证结果是什么。半年后回头看,这份记录比文件本身更能说明问题。毕竟真正让站点被搜索引擎拉黑的,从来不是某一条复杂规则写错,而是一次没人记得的随手改动。

Last modification:November 15th, 2026 at 08:24 pm

Leave a Comment