什么是 llms.txt?如何把它添加到你的网站
llms.txt 是放在域名根目录的纯 Markdown 文件,为 AI 系统提供一份精选的网站摘要:网站是什么,以及最有用的页面在哪里。可以把它理解为一份写给上下文窗口有限的机器看的目录。
采用率现实核查:我们直接探测了 48,005 个活跃域名,只有 3,055 个(6.4%)返回了可识别的 llms.txt。现在发布仍能让你跻身最早一批。浏览已验证目录。
它为什么存在
AI 助手和智能体读不完你的整个网站。HTML 页面很重(导航、脚本、模板内容),而上下文窗口是有限的。llms.txt(由 Jeremy Howard 于 2024 年提出)用一个位置固定、内容干净的 Markdown 文件解决了这个问题:一行摘要、一段简短描述,以及按组整理、逐条注明内容的重要页面链接。
它不是什么
诚实优先:Google 已声明其 AI 功能依赖正常的索引流程,Google 不读取 llms.txt。正因如此,我们的审计方法论刻意降低了它的权重。这个文件服务的是持续增长的 AI 助手、智能体框架和 LLM 开发者工具生态,它们确实会抓取它。成本低,受众真实存在,但不包括 Google。
格式
第一行是包含网站名称的 H1(必需),然后是一段引用式摘要,接着是分组的链接。一个完整有效的示例:
# Example Store
> Example Store sells refurbished laptops with a 2-year warranty,
> shipping across Europe. Founded 2012, based in Rotterdam.
## Products
- [Laptop catalog](https://example.com/laptops/): all models with specs and prices
- [Warranty terms](https://example.com/warranty/): what the 2-year cover includes
## Company
- [About us](https://example.com/about/): history, team, certifications
- [Contact](https://example.com/contact/): support email, phone, address
## Optional
- [Blog](https://example.com/blog/): buying guides and repair stories
- 首行 H1:规范要求如此;我们的验证器把开头的
# Title视为最强的有效性信号。 - 引用式摘要:2-4 行,智能体可以逐字引用。
- 带说明的分组链接:价值在于精选,不要把整个站点地图倒进去。
- 「Optional」小节:按惯例,上下文紧张时智能体可以跳过它。
如何添加
- 静态网站:把文件以
llms.txt为名保存到网站根目录,然后部署。以text/plain或text/markdown提供。 - WordPress:当前版本的 Yoast SEO 和 All in One SEO 会自动生成(我们在已验证目录中能看到它们的签名),也可以通过主题或 htaccess 添加该文件。
- 任意 CMS/代理:只要有一条在
/llms.txt返回纯文本的路由即可,我们自己的就由一个 Cloudflare Worker 提供。
验证它是否生效
用 curl 抓取 https://yourdomain.com/llms.txt:你应当得到纯 Markdown,而不是一个 HTML 错误页(配置不当的服务器返回 HTML 软 404 是我们见到的最常见故障;我们探测的原始命中中就有 832 个正因如此被剔除)。
我们的检查器会在 30 项智能体就绪度审计中通过直接抓取来验证 llms.txt,有效的网站会自动加入公开 llms.txt 目录。
常见问题
- Google 会使用 llms.txt 吗?
- 不会。Google 已表示其 AI 功能依赖正常的索引流程,而非 llms.txt。这个文件服务的是其他消费者:AI 助手、智能体框架,以及会抓取它来获取网站上下文的 LLM 工具。请把它当作一个低成本、受众持续增长的信号,而不是 Google 排名手段。
- llms.txt 应该放在哪里?
- 放在域名的根目录:https://example.com/llms.txt。它必须是纯文本(Markdown),并且可以通过普通的 GET 请求访问。
- llms.txt 和 robots.txt 有什么区别?
- robots.txt 告诉爬虫可以抓取什么;llms.txt 告诉 AI 系统你的网站是什么:一份精选的 Markdown 摘要,附上最有用页面的链接。两者互为补充。
- 有多少网站拥有 llms.txt?
- 采用仍处于早期:MarkosWeb 直接探测了 48,005 个活跃域名,只有 3,055 个(6.4%)返回了可识别的 llms.txt。
- WordPress 插件能生成 llms.txt 吗?
- 能。较新版本的 Yoast SEO 和 All in One SEO 可以自动生成。经验证的自动生成文件会与手写文件一起收录进我们的目录。