2024 年底开始，一个叫 llms.txt 的约定在技术圈流传：在网站根目录放一个 Markdown 文件，用简洁的方式告诉 AI「这个网站有哪些内容、各自摘要是什么、去哪里读细节」，相当于给 AI 爬虫的「网站导览」。
支持者称之为「AI 时代的 robots.txt」，质疑者认为「没有一家主流 AI 公司承诺会读它」。我们做了一轮实测，这篇是结论。
llms.txt 是什么
一个提议中的标准文件，长这样：
# 你的网站名
> 一句话描述这个网站是做什么的
## 文档
- [快速上手](/docs/quick-start): 十分钟创建第一个监测项目
- [API 接入](/docs/openapi): REST 与 MCP 双通道
## 产品
- [功能总览](/features): 五大引擎监测与信源分析
设计思路很直白：与其让 AI 爬虫在满屏导航、弹窗、脚本里吃力地找正文，不如你直接递上一份干净的目录。
实测：它到底被读了吗
我们和一个做 SaaS 的朋友各自做了实验：部署 llms.txt，持续监测 AI 爬虫的抓取日志。结论分三层：
第一层：爬虫确实会抓这个文件。 主流爬虫对根目录的小文本文件没有理由拒绝，日志里能看到访问记录。
第二层：抓了 ≠ 采信。 关键问题不是「读没读」，而是「是否影响后续的引用行为」。我们对照监测了部署前后各 30 天的可见性数据——没有观测到统计上显著的变化。 朋友的实验结论类似。
第三层：它可能影响了「抓取路径」。 有迹象表明，部分爬虫会顺着 llms.txt 里的链接去抓对应页面（就像它会顺着 sitemap 和普通内链一样）。也就是说，它的作用可能更接近「一份额外的 sitemap」，而不是「给 AI 的内容指令」。
那还要不要做？
要做，但别指望它单骑救主。 理由：
支持做的理由：
- 成本几乎为零，半小时部署，没有副作用
- 对「可抽取性」确实有改善：它迫使你把网站结构和核心内容用最干净的方式梳理一遍——这个梳理过程本身就有价值
- 如果标准被主流采纳，先部署的人先受益（标准之争结束前，占位不亏）
- 它对「小型站点 / 文档站」的相对收益更大——内容少而结构化程度高，导览价值明显
别神话它的理由：
- 没有证据表明它直接提升被引用概率
- 决定 AI 引用行为的仍然是：内容质量、信源权重、信息可抽取性
- 指望一份 llms.txt 解决可见性问题，等于指望门口挂个「我家很好」的牌子
我们的使用建议
如果做，按这个标准做：
- 放在根目录：
/llms.txt，公开可访问，不挂登录墙 - Markdown 格式，链接用绝对路径或完整 URL
- 宁缺毋滥：只收录你最有把握的核心页面（产品、文档、核心内容），20-50 条足够，别把全站 URL 倒进去
- 每行配一句人话摘要——摘要写不清的页面，说明页面本身定位不清，先改页面
- 和 sitemap.xml 并存，互不冲突
- 同步维护：页面下线了，llms.txt 里也要删，过期导览比没有导览更糟
配套的另一个文件：llms-full.txt
部分实践者会额外放一份「全量内容版」：把核心页面正文直接塞进一个文件，供 AI 一次性抓取。思路同上——对内容量不大的站点（几十篇文档以内）值得做；内容量大的站点，文件体积会失控，反而浪费爬虫预算。
结论
llms.txt 不是银弹，也不是骗局。它是一个低成本的「结构化自荐」：对 AI 爬虫的帮助约等于一份干净的 sitemap 加一份内容摘要，对团队的价值在于逼你做一次内容盘点。
GEO 的基本盘仍然是被引用、被正确描述、被优先推荐——这些要靠监测、信源和持续的内容供给。llms.txt 值得那半小时，但不值得更多的期待。