讲一个我自己踩过的坑:有一次给站点加了一条「防止后台被搜索引擎抓到」的 robots.txt 规则,改完当天没任何异常,后台日志也看不出问题。一个月后我打开 Search Console,发现索引量从一万四千掉到八百,流量曲线像自由落体。那条规则的写法是 Disallow: /?*,本意是屏蔽带查询参数的后台地址,结果把所有带参数的 URL 全屏蔽了——包括分页、包括搜索页、也包括我为了绕过 CDN 缓存而加的 ?_=时间戳 链接。
robots.txt 是 SEO 里「破坏力最大、反馈最慢」的一个文件。它只有几十行,语法简单到看起来不用学,但只要一点点写错,损失可能是几个月的收录和流量,而且没有任何报警。这篇文章把 robots.txt 的匹配语义、最常见的五种写错方式、以及「疑似被误屏蔽」时的完整排查顺序讲清楚。
先明确:robots.txt 是「禁止抓取」,不是「禁止收录」
这是理解所有坑的前提。官方文档里说得很清楚:被 robots.txt 屏蔽的 URL,仍然可能出现在搜索结果里——搜索引擎可能是从别处的链接知道这个 URL 的,它会索引这个 URL,只是不抓取内容,所以结果里没有描述。更糟的是,如果你屏蔽了页面,但页面上写了 noindex,搜索引擎抓不到那个 noindex,就永远不会把它从索引里摘掉。
所以正确的组合是:
- 想让页面彻底消失:不要用 robots.txt 屏蔽,让它被抓,然后给
noindex或加登录墙/密码保护。确认已经从索引中移除后,才考虑再加 robots 限制以节省抓取预算。 - 只是不想让它浪费抓取预算(比如后台、搜索结果页、无尽的分页):用 robots.txt 屏蔽,并且确保这些页面不会被外链大量指向。
这两件事搞混,就会出现「我加了 Disallow,为什么它还在搜索结果里」的困惑,以及「我加了 noindex,为什么它还没掉」的更长久的困惑。
匹配语义:前缀匹配,不是通配,也不是正则
robots.txt 的 Disallow 值做的是路径前缀匹配,不是子串匹配,也不是正则。这一点决定了下面这些差异:
Disallow: /tmp会屏蔽 /tmp、/tmp.html、/tmp/a.html,但不会屏蔽 /tmphoho。(注意:Baidu 的官方文档里给出的例子与此一致。)
Disallow: /tmp/带了尾斜杠就只屏蔽目录,/tmp.html 就不受影响了。所以你想屏蔽一个目录,务必写尾斜杠;你想屏蔽以某串开头的所有路径,就不要写尾斜杠。
支持的通配符只有两种:
*匹配任意字符序列,但不跨行、不跨路径分隔符的语义并不成立——它是纯粹的字符串通配。写/?*就是「以 / 开头、后面跟可选字符」,实际上等于屏蔽全站。这就是我当年那条规则的真相。$表示结尾,只能出现在末尾。如Disallow: /*.pdf$只屏蔽以 .pdf 结尾的 URL。
Allow 的优先级高于 Disallow,但只在「长度相同或更长」时才算数。也就是说 Disallow: /admin/ 配合 Allow: /admin/public/ 是可行的,访问 /admin/public/a.html 会被放行。但 Disallow: /admin 配合 Allow: /admin/public 时,路径长度不同,多数引擎会按最长匹配判断,Google 是这样,但不要指望所有爬虫都这么细致。
五种最常见的写错方式
1. 通配符滥用(我的那条)
Disallow: /?*、Disallow: /*、Disallow: /*?——这三个都是灾难级写法。特别是很多教程教你用 /*? 屏蔽带参数的 URL 来「减少重复内容」,这个做法在带分页的站点上等于自断经脉。分页 URL /list?page=2 会被屏蔽,搜索引擎爬不到后面的文章;我用过的后台、搜索页、标签页、UTM 跟踪链接,也会被一起屏蔽。
如果你确实想处理重复内容的参数问题,正确工具是 canonical,不是 robots。canonical 会告诉搜索引擎「这些参数的 URL 都算作主版本的副本」,而不是让它们完全消失。
2. 误伤 CSS/JS 等资源文件
很多人为了「省流量」屏蔽 /assets/、/wp-content/plugins/、/static/js/。Google 的文档明确提醒:如果缺少这些资源会导致抓取工具难以解读页面,就不要屏蔽,否则 Google 无法有效评估页面。我见过因为屏蔽了 CSS 目录、导致移动端友好性直接判为不合格的站。
要屏蔽的是「不会影响页面渲染」的东西:管理后台、搜索结果页、无限的排序参数页、购物车的会话 URL。
3. 忘了屏蔽 sitemap.xml 和 sitemap 页面本身
反向的坑:有人写 Disallow: / 然后试图用 Allow 逐个放行,结果放行列表漏掉了 /sitemap.xml。sitemap 被屏蔽的话,搜索引擎抓不到它,你提交的站点地图等于白交。
不要试图用白名单方式写 robots.txt。黑名单(只屏蔽确定的少数路径)永远比白名单安全,因为漏掉一个白名单项是致命的,漏掉一个黑名单项只是多抓了几页。
4. 语法细节错误
- 把 User-agent 写错。
User-agent: googlebot和User-agent: Googlebot大小写不敏感,这是可以的;但User-agent: Googlebot-News与Googlebot是两个不同的 agent,只写前者不会影响普通搜索。 - 同一个 User-agent 写了多个 Disallow 块,中间夹了别的 agent 时,后面的块会被认为属于另一个 agent。规则必须按 agent 分组写在一起。
- Disallow 后面写完整 URL。
Disallow: https://www.example.com/admin/是错的,robots.txt 里只写路径/admin/。带协议和域名的写法,多数引擎会当成无效规则直接忽略——于是你以为屏蔽了,其实什么也没屏蔽。 - 空 Disallow 的值写成
Disallow: /。前者是「允许全部」,后者是「屏蔽全站」,一字之差,全站蒸发。 - 编码与字符集。非 ASCII 字符必须做 URL 编码(UTF-8 后百分号编码)。中文路径直接写中文,部分爬虫会解析成乱码,导致规则失效。
5. 多条规则没想清楚谁生效
当 Disallow: /tmp 和 Allow: /tmp/a 同时存在时,Google 会选「最长匹配」。但如果 Disallow: /*.php$ 和 Allow: /index.php$ 同时存在,前者匹配长度 7,后者匹配长度 10,所以 /index.php 被放行。$ 和 * 的计数规则容易让人算错,写完务必用测试工具验证,不要靠脑补。
发现收录掉了,按这个顺序排查
不要一上来就怀疑「被降权」。收录量骤降的高概率原因里,robots 类问题排在很前面,而且它是唯一一个「你自己做的、你自己能立刻查到」的原因。
- 先看 robots.txt 本身是否可访问。
curl -sI https://你的域名/robots.txt。如果返回 403、404、500,或者返回内容是 HTML(比如 200 但其实是首页),那搜索引擎读不到规则,默认行为是「全部允许」——这通常不会导致收录掉,但会让你所有屏蔽失效。 - 看返回的 Content-Type。必须是
text/plain。如果服务器把它当成application/octet-stream或者被 CDN 改成了text/html,部分爬虫会拒绝解析。 - 逐条比对规则最近是否被改过。如果在版本控制里,直接
git log -p robots.txt。如果没有版本控制(多数个人站都没有),去看 CDN 和 Nginx 的访问日志里 robots.txt 的最后修改时间。 - 用引擎自己的测试工具验证具体 URL。Google 的 robots.txt 测试工具和 Search Console 的「网址检查」能明确告诉你「被哪一条规则屏蔽」。这一步比看文档有用一百倍,因为它用的是真实的匹配引擎。
- 确认不是 noindex 或 canonical 造成的。如果 robots 没问题,检查
curl -s https://.../xxx.html | grep -iE 'noindex|canonical'。 - 看服务器是否在拦爬虫。可能是你自己加的防火墙规则、WAF 规则、或者那条我写过的 fail2ban 把 Googlebot 的 IP 段封了。用
curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"模拟抓一次,看返回码是不是 403。 - 最后才看内容层面的问题。低质量、模板重复、软 404 这些会更慢,而且通常不是「骤降」而是「慢慢掉」。
一个可以直接用的模板
对个人技术博客来说,robots.txt 越短越好。下面这份是我自己站点上在用的,只有几行:
User-agent: *
Disallow: /admin/
Disallow: /search
Disallow: /go/
Allow: /
Sitemap: https://www.example.com/sitemap.xml几个设计取舍:
- 没有写
Disallow: /然后逐条 Allow,避免白名单漏项。 - 搜索页只屏蔽
/search前缀,不带通配,避免误伤/search-engine-optimization.html这类合法文章。为防万一,如果站内搜索路径和文章路径可能冲突,就改用/search/(带尾斜杠)并且把搜索功能放在独立路径下。 - 外链跳转
/go/屏蔽掉,避免抓取预算被一堆重定向浪费。 Sitemap行写在最后,用绝对 URL、https、不带参数。
另外还有一个细节值得注意:如果站点用了 CDN,robots.txt 的缓存时间要单独设短一点。Cloudflare、又拍云这类默认会把 txt 也缓存,你改了 robots 但 CDN 还在返回旧版本,这时候排查会非常困惑——「我明明改了,测试工具还说被屏蔽」。用 curl -sI 看 cf-cache-status 或 age 头,加个 ?_=时间戳 对比一下。
改完之后的后悔药
如果确认是因为 robots.txt 误屏蔽导致收录下降,处理顺序是:
- 立刻修正规则,不要犹豫要不要「先观察几天」。每多屏蔽一天,损失的都是抓取预算。
- 在 Search Console 里用「网址检查」对几个核心页面执行「请求编入索引」,把优先级最高的先推回去。
- 重新提交 sitemap。
- 观察「网页索引编制」报告里「已被 robots.txt 屏蔽」的数量是否开始下降。这个数字下降得比想象中慢,通常一到三周,因为爬虫对 robots 规则有缓存周期,且需要重新排队。
最后说一句心态上的事。robots.txt 这类文件属于「一年改不了一次、但一次改错能毁掉几个月」的类型。我现在的习惯是:任何 robots.txt、nginx.conf、.htaccess 的修改,都先在本地写好 diff,改之前 curl 存一份线上版本,改完之后立刻用两个引擎的测试工具各验一条关键 URL。多花的这五分钟,和事后找回一万四千个索引页的代价相比,实在算不上什么。