当用户不再点进你的网站:AI 搜索时代 SEO 的新战场
过去做 SEO,站长的目标很明确:让搜索引擎把页面收录、排到前面,用户点击进入你的站点。但这两年一个明显的变化是:越来越多的用户不再点开搜索结果,而是直接看 AI 给出的答案。ChatGPT、Perplexity、Bing 的 Copilot、以及各家国内的 AI 搜索,正在成为新的"入口"。它们的回答从哪里来?很大一部分来自对公开网页的抓取、索引和引用。
这带来一个全新的问题:当 AI 引用一个话题时,它会不会引用你的网站?如果你的内容在 AI 的答案里被正确引用、并带上链接,你就能拿到一波新的精准流量;如果引用的是竞品,你就彻底失去了这个曝光位。针对 AI 搜索引擎做优化的方法论,业界叫 GEO(Generative Engine Optimization,生成式引擎优化),而 llms.txt 是它最直接、最容易落地的技术手段之一。这篇文章把 GEO 的思路和 llms.txt 的实操讲清楚,面向个人站长,全部可落地。
GEO 与传统 SEO 的关系:不是替代,是延伸
先给结论:GEO 不是要你抛弃 SEO,而是在 SEO 的地基上加盖一层。搜索引擎和 AI 系统并不是两套完全独立的体系——AI 搜索的语料往往就来自搜索引擎的索引,或者直接来自爬虫抓取的网页。你在传统 SEO 上做对的事(清晰的结构、明确的主题、快速的加载、可靠的内容)对 GEO 同样有效。
但 GEO 确实带来了几个新的侧重点:
- 从"关键词匹配"转向"语义完整"。AI 倾向于引用那些对一个问题给出完整、准确、结构化回答的页面,而不是关键词堆砌的页面。
- 从"排名"转向"被引用"。你的目标是在 AI 生成答案时,被当作可信来源纳入参考并注明出处。
- 内容的可机器解析性变得举足轻重。AI 需要能快速提取"谁、在讲什么、结论是什么、来源是否可信",这比给人看更重要的是机器能读懂。
- 新鲜度和权威性是硬指标。AI 常常偏好有明确更新时间、有作者信息、有事实依据的内容。
理解了这四点,后面的具体动作就是水到渠成。
llms.txt 是什么:给 AI 的一张"站点说明书"
llms.txt 是一个放在网站根目录的纯文本文件(就像 robots.txt 一样),它的作用是用简洁的 Markdown 结构,向大语言模型说明你的网站是什么、有哪些重要页面、每个页面讲什么。它不是标准,也不是协议,而是一个社区约定——但它简单到极致,成本几乎为零,却可能让 AI 更准确地理解和引用你的站点。
它的基本结构长这样:
# 站点名称
> 一句话说明这个网站是做什么的,面向谁。
## 核心文档
- [页面标题](https://example.com/page1):这一页讲了什么
- [页面标题](https://example.com/page2):这一页讲了什么
## 可选
- [关于我们](https://example.com/about):作者与站点背景注意几个细节:第一行是站点标题(H1),紧接着用引用块写一句话简介,后面用 Markdown 列表列出重要页面的标题、链接和一句话说明。"可选"部分用于放次要信息。整个文件的思路是:让 AI 用最少的时间,理解你这个站点最有价值的资源在哪里。
把文件保存为 llms.txt,放到网站根目录,确保能通过 https://你的域名/llms.txt 直接访问即可。用 Nginx 的话,把文件放到站点根目录(比如 /var/www/html/llms.txt)通常就能直接访问,如果被伪静态规则拦截,需要加一条明确的放行规则:
location = /llms.txt {
default_type text/plain;
add_header Cache-Control "public, max-age=3600";
}部署完成后用 curl https://你的域名/llms.txt 验证是否返回正确内容,Content-Type 应为 text/plain。
为什么 llms.txt 值得做:三个实际理由
有人会问:AI 系统到底认不认 llms.txt?坦白说,目前没有官方标准保证所有 AI 都读它,但做它的理由依然充分:
- 成本极低、风险极小。花十分钟写一个文件,最坏情况是没被读取,不会对你的传统 SEO 造成任何负面影响。
- 给 AI 一条理解你的捷径。很多 AI 抓取工具在爬取一个站点时,会优先寻找 robots.txt、sitemap、llms.txt 这类约定文件来判断站点的结构和重点。你提供了,就多了一次被准确理解的机会。
- 倒逼你把自己的站点结构理清楚。写 llms.txt 的过程,本身就是一次站点信息架构的梳理——哪些页面是核心、哪些是次要,一目了然。这对人、对搜索引擎、对 AI 都有好处。
GEO 的可落地动作清单
llms.txt 只是入口。真正让 AI 愿意引用你的,是内容本身的可引用性。以下是一套面向个人站长的可落地清单。
1. 用语义清晰的标题层级
确保每个页面有唯一的 H1,用 H2/H3 组织内容结构。AI 在抽取段落时,非常依赖标题层级来判断"这一段在回答什么问题"。避免用图片文字充当标题,也不要为了样式而滥用 H 标签。
2. 结构化数据标注
用 JSON-LD 标注 Article、FAQPage、BreadcrumbList、HowTo 等类型,把"这是什么内容、谁写的、什么时候更新"用机器可读的方式说清楚。结构化数据既是传统 SEO 的加分项,也是 AI 理解内容的重要依据。核心字段包括:headline、author、datePublished、dateModified。注意 author 和日期的格式要规范,日期用 ISO 8601(如 2026-10-13)。
3. 让答案"可直接引用"
AI 生成答案时,倾向于引用那些已经把结论说清楚的段落。所以每篇内容最好在开头或小标题下,用一两句话直接给出核心结论,再用正文展开论证。这种"先结论后论证"的写法,对人读者和 AI 都友好。
4. 保证爬虫可读性
这是一个很多人踩的坑:JS 渲染的页面,AI 爬虫可能只看到空壳 HTML。如果你的内容依赖前端 JS 动态加载,AI 往往抓不到。尽量让核心内容在服务端渲染(SSR)或预渲染,至少保证"查看网页源代码"时能看到正文。这一点比什么都重要——内容抓不到,后面所有优化都是空谈。
5. 维护更新时间和作者信息
AI 对内容新鲜度很敏感。给每篇文章显示并标注真实的发布时间和最后更新时间,并保持实质性的更新(不是改个错别字就改日期)。作者信息也一样,有署名、有简介的站点,在 AI 眼里可信度更高。
6. 主动提供站点地图
除了给搜索引擎的 sitemap.xml,可以在 llms.txt 里列出核心内容清单。让 AI 和搜索引擎都能快速发现你的高质量页面。
7. 关于 AI 爬虫的取舍
你的 robots.txt 决定哪些 AI 爬虫可以抓你。常见的 AI 抓取 UA 包括 GPTBot(OpenAI)、ClaudeBot(Anthropic)、PerplexityBot、Google-Extended 等。如果你希望被 AI 引用以获得曝光,就不该屏蔽它们;如果你担心内容被无偿用于模型训练,可以选择性地只放行会回链引用的抓取(如 PerplexityBot),屏蔽纯训练用途的抓取(如 GPTBot)。这是一个策略选择,取决于你的内容定位。下面是一段示例:
User-agent: GPTBot
Disallow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Disallow: /这段配置的语义是:允许 Perplexity 抓取(因为它在回答里带引用链接),不允许 GPTBot 和 ClaudeBot 抓取(纯训练用途)。你要根据自己的目标调整,切忌照抄。
真实复盘:一次 GEO 尝试带来的变化
背景:一个讲 Linux 运维的技术博客,传统 SEO 已经做到了自然收录、部分关键词排在第一页,但流量增长停滞。站长注意到,一些用户反馈"是从某 AI 助手里看到你的文章的",于是决定系统性地做一次 GEO 优化。
动作:
- 写了 llms.txt,把站内最核心的 30 篇教程按主题分类列出,每篇配一句话摘要;
- 给所有文章补齐 JSON-LD 结构化数据,特别是
dateModified和author; - 把几篇 JS 渲染的页面改成服务端输出,确保爬虫能抓到正文;
- 在每篇文章开头加了"结论先行"的摘要段;
- 检查 robots.txt,确认 PerplexityBot 等带引用的爬虫能正常抓取。
效果观察:一个月后,通过 AI 助手带来的引荐流量(在访问日志里能通过 Referer 看到部分来源)从几乎为零增长到日均几十个访问,虽然绝对量不大,但质量很高——这些用户是带着明确技术问题来的,跳出率显著低于搜索引擎来的泛流量。同时传统 SEO 的收录数据没有受到负面影响。
这次尝试最大的体会是:GEO 的门槛看起来很高,但个人站能做的那几件事(llms.txt、结构化数据、服务端渲染、结论先行)其实都很朴素,而且和传统 SEO 高度重合。不需要什么黑科技,把基础做扎实,就能在这个新入口里占到一个位置。早做的站长,往往能吃到一个新渠道早期的红利。
常见问题
Q:llms.txt 会被 AI 读取吗?没有保证。它是一个社区约定,部分工具和平台会读取,但没有强制标准。做它的价值在于成本极低且无害,属于"宁可信其有"的低风险投入。
Q:GEO 会不会和传统 SEO 冲突?不会。两者高度兼容,结构化数据、服务端渲染、清晰标题、内容更新,这些都是传统 SEO 早就推荐的做法。GEO 只是多了 llms.txt 和对 AI 爬虫策略的考量。
Q:应该屏蔽 AI 爬虫吗?取决于你的目标。如果内容是靠流量变现、希望被引用导流,就放行;如果内容有商业机密或不愿被无偿用于训练,就选择性屏蔽。没有标准答案。
Q:小站有机会被 AI 引用吗?有。AI 更看重内容本身对问题的解答质量,而不是域名权重。一个把某个细分问题讲透的小站,完全有可能被 AI 引用。这其实是小站的一个机会。
总结
AI 搜索正在重塑流量的入口,GEO 也随之成为站长必须了解的新课题。它不神秘:核心是让内容对机器更友好、更可引用、更可信。落地路径很清晰——写一个 llms.txt 给 AI 一张站点说明书,补齐结构化数据说清"这是什么、谁写的、何时更新",保证服务端可抓取,用"结论先行"的写法提高可引用性,再想清楚对 AI 爬虫的开放策略。对个人站长来说,这些动作成本低、和传统 SEO 不冲突,却是通往一个新流量入口的门票。在新渠道的早期,行动比完美更重要——先做,再迭代。