刘宇 · Tianwen SEO Research 研究笔记本
llms.txt 是什么：要不要给 AI 爬虫写说明书
每隔一阵就会冒出一个“不做就落后”的新东西，llms.txt 是最近的一个。我的态度是先看清它的证据，再决定投多少时间。结论是：可以写，但别把它当救命稻草。
先带走这几个判断
- llms.txt 是在网站根目录放一个 Markdown 文件，列出你希望大模型优先读的页面。
- 它目前不是官方标准，也没有主流模型公开承诺会读。写它的收益没有可靠证据支撑。
- Ahrefs 2026-10-12 的 1500 万查询研究显示，模型检索时会拆成多路子查询去抓真实页面，这决定了内容本身比清单更重要。
- Semrush 2026-10-12 讲 AI 可见度仪表盘时，重点是测量而不是配置文件。
- 我的建议：花半小时加一个可以，但不要为了它推迟内容更新。
权威站最近测到了什么？
先说一件很重要的事：在我看到的 2026 年公开研究里，主流机构谈 AI 搜索时，重点都放在内容和测量上，而不是某个配置文件。Ahrefs 在 2026-10-12 的《How ChatGPT Does Query Fan-Out（1500 万查询研究）》里，分析的是模型怎么拆问题、检索哪些页面。这直接影响 llms.txt 的价值判断：如果模型是按子查询去抓真实网页，那么一个首页清单能起的作用是有限的。
Semrush 在 2026-10-12 的《How to build an AI visibility dashboard》讲的是怎么把 AI 可见度变成能日常看的指标。这类工作的前提是承认可见度来自内容被采用，而不是来自一份声明文件。
Ahrefs 2026-07-06 那篇 33.1 万页的研究也是同一个方向：被处理的是坏内容。把这三篇放在一起，你会看到一个共同的落点——AI 搜索的胜负手在内容质量与可访问性，不在是否存在某个新文件。
llms.txt 到底是什么？
它是在你网站根目录放一个纯文本 Markdown 文件，路径写成 /llms.txt。里面用列表列出你最重要的页面，每条给一个标题和一句说明，让大模型比较容易找到“这站有什么值得读的”。
提出这个想法的逻辑是合理的：模型的上下文有限，如果有份现成的清单，就不用从头爬。但合理不等于被采用。搜索引擎当年接受 sitemap，是因为主流引擎一起支持；llms.txt 目前没有走到这一步，各家的抓取和检索策略也不公开。
所以它现在的实际状态是一个“低成本可选动作”：做了不一定有回报，不做也看不出损失。凡是这种状态的东西，都不值得你在上面下重注。相关背景可以对照sitemap 是什么来理解标准和非标准的区别。
目前的证据有多少？
我没有找到可信的来源，能证明加了 llms.txt 之后 AI 引用或引荐流量出现稳定提升。也没有主流模型厂商公开说明会优先读取这个文件。这不是说它一定没用，而是说目前证据不足。
反过来，关于内容与可抓取性的证据是充分的。Ahrefs 2026-10-12 的查询扇出研究、2026-07-06 的 33.1 万页研究，都指向内容本身。Semrush 2026-05-06 讲 ChatGPT 流量追踪时，也是从数据侧入手。
还有一个常被忽略的点：如果模型根本抓不到你的页面，写再好的清单也没用。你可以先确认基础项——页面可访问、没有误拦爬虫、主要内容不是靠脚本才显示。这些检查比新增一个文件重要得多。相关做法见Googlebot 内容可访问性和WordPress 拦 AI 爬虫这件事。
我自己做过一个很小的检查：把主力页面的 HTML 抓下来，看正文在不执行 JavaScript 的情况下能不能读到。结果有几页的产品参数是脚本渲染的，直接抓只拿到一个空壳。这类问题比有没有 llms.txt 重要得多，因为模型拿不到内容，后面所有讨论都没有意义。修法通常不复杂，让主题或插件把关键内容输出成静态 HTML 即可。可结合JavaScript 与 SEO一起排查。
它和 sitemap、robots 是什么关系？
| 文件 | 给谁看 | 成熟度 | 优先做 |
|---|---|---|---|
| robots.txt | 所有爬虫，控制能不能抓 | 行业标准 | 必须先做对 |
| sitemap.xml | 搜索引擎，帮助发现页面 | 行业标准 | 必须做 |
| llms.txt | 大模型，建议读哪些页 | 社区约定 | 有余力再做 |
顺序就是这么清楚。robots.txt 写错会直接挡掉爬虫，这是真损失；sitemap 能帮搜索引擎发现新页面，这是基础；llms.txt 属于锦上添花。有人把 llms.txt 说成“AI 时代的 robots.txt”，这个类比不准确——robots 是控制，llms.txt 是建议，两者的强制力完全不同。相关规范见robots、noindex、canonical 与 sitemap 的用法。
要写的话，怎么写才不浪费时间？
如果你决定加一个，控制在半小时内。结构很简单：顶部一句网站说明，下面按类别列页面，每条格式是“标题：链接：一句话说明”。挑 20 到 40 个页面，选真正重要的：主力产品页、核心问答页、公司介绍、认证页。不要全站上。
写完就放着，不要每周维护。它不像 sitemap 那样需要跟着内容自动更新；如果维护成本超过收益，那就干脆别加。把时间省下来改一页有展现没点击的内容，回报更确定，具体做法见可被引用的答案段落怎么写。
有一类站值得稍微重视这件事：产品线很多、页面结构复杂、模型容易抓错重点的站。这时一份清单确实能帮助指路。但它仍然是辅助，不是决定性因素。可配合结构化数据一起梳理站点结构。
最后提醒一句：不要把 llms.txt 写成一个营销页面。有些站把它做成“我们公司多优秀”的简介，那就走偏了。它的作用是导航，不是说服。链接要指向真实的、能被抓到的页面，说明要写这一页回答什么问题，不要写形容词。如果某条链接指向 404 或需要登录，反而会浪费一次被读的机会。
还有一个更朴素的判断：如果这份文件删掉之后，你的站没有任何变化，那它大概只是心理安慰。真正有用的技术动作，删掉之后会立刻出问题，比如 sitemap、robots、站点地图提交。用这个标准去衡量，你会更清楚该把时间放在哪里。可以把省下的时间用来更新三页有展现没点击的内容，回报更确定。
低成本落地清单
三步，总共不超过一小时。
- 先查 robots 和可访问性：确认没有误拦主要爬虫，主力页面不需要脚本就能看到内容。
- 确认 sitemap 正常：能被访问、包含主要页面、没有大量 404。
- 有余力再写 llms.txt：列 20 到 40 个核心页面，半小时内完成，写完不再维护。
这三步的价值是递减的，请按顺序做。如果你只想选一件事，选第一件。想看清 AI 可见度的整体优先级，可以读AI 可见度监测怎么搭。
老板最常追问的几个问题
llms.txt 是官方标准吗？
不是。它是社区提出的约定，没有成为 W3C 或搜索引擎的正式规范，也没有主流模型公开承诺按它读取。写它有成本，但不要期待确定回报。
不写 llms.txt 会不会影响 AI 引用？
目前没有可靠证据表明不写就会被冷落。模型主要靠自己抓取和检索页面，能不能被引用取决于内容质量和可访问性。
那还有必要加吗？
如果只花半小时，加一个没坏处，至少能把重要页面列清楚。但它不该占用你本来要用来改内容的预算和时间。
它和 sitemap 有什么区别？
sitemap 是搜索引擎长期使用的标准，偏抓取发现；llms.txt 是给大模型看的页面清单，偏内容导航。前者是基础设施，后者更像实验。
