llms.txt 采用情况：前 10,000 个网站中有多少有它？

主要发现

• 16.1% 的头部网站提供 llms.txt（5,480 个中的 881 个），来自我们 2026年10月28日对 Tranco 前 10,000 的抓取。
• 前 1,000 领先：22.5% 有，而排名 1,001 至 10,000 的网站为 15.4%。
• 约一半格式有误。881 个文件中有 414 个（47%）符合 llmstxt.org 结构。常见问题是链接部分里写了大段文字（409 个文件）。
• 11.3% 的网站对 /llms.txt 返回一个网页，通常是首页，在浏览器里看像个文件，对解析器来说却什么都不是。
• 典型文件很小：中位数为 7,284 个字符和 33 个链接。有 59 个文件超过 100,000 个字符。
• 36 个网站发布了 llms.txt 却屏蔽 GPTBot，还有 4 个屏蔽 OAI-SearchBot，所以 OpenAI 自己的搜索爬虫可能抓不到为它写的指南。

采用率随排名下降，从前 1,000 的 22.5% 降到 9,001–10,000 段的 10.6%，但并不平滑：2,001–3,000 段与最高段持平。早期名单中软件和基础设施公司占了很大一部分。在我们能读取的前 200 中，采用者包括 cloudflare.com、fastly.com、wordpress.org、adobe.com、digicert.com、opera.com、sentry.io、intuit.com、samsung.com、dropbox.com、gravatar.com、kaspersky.com、ubuntu.com、shopify.com。

这些文件是什么样的

llmstxt.org 的格式很简短：一个写有网站名称的 H1，可选的引用块摘要，可选的段落，然后是只包含链接列表的 H2 部分。我们发现最多的三类问题：

• H2 部分里写了段落文字或普通列表（409 个文件）。规范把这些部分留给 - [name](url): notes 条目，所以遵循规范的读取器会跳过其余内容。
• 不止一个 H1（90 个文件），通常是把一份长文档整个贴了进去。
• 开头没有 H1（42 个文件），往往是因为文件以自己的网址或一条注释开头。

有人读它吗？

没有以主流助手确认过的方式被读取。Google 明确表示，要出现在 AI Overviews 或 AI Mode 中，你 “don’t need to create new machine readable files, AI text files, or markup”（Google Search Central），OpenAI、Anthropic 和 Perplexity 的爬虫文档也没有提到 llms.txt。今天它最明确的读者是编码代理和文档工具。所以 16.1% 这个数字衡量的是有多少团队认为值得花二十分钟，而不是一个排名因素。我们的指南什么是 llms.txt介绍了该写些什么。

如果你要发布一个

1. 确认它返回的是文件。打开 /llms.txt 并查看源代码。如果你看到的是首页的 HTML，那你就没有 llms.txt。
2. 各部分只放链接。任何说明都放在摘要或第一个 H2 之前的段落里。
3. 让它保持为索引。一份回答买家问题的页面清单，每个附一句说明，比整站复制更有用。
4. 放行爬虫。如果 robots.txt 屏蔽了本该抓取它的爬虫，为语言模型写的文件也没多大用处。见哪些网站屏蔽 AI 爬虫。
5. 验证它。llms.txt 验证器使用的就是我们这里的同一套代码。

方法与局限

我们选取了 Tranco 列表 GQ3LK 的前 10,000 个域名（这是一个研究用排名，综合了 Chrome UX Report、Cloudflare Radar、Cisco Umbrella、Majestic 和 Farsight 在 2026年9月28日至10月27日的数据）。2026年10月28日，我们的爬虫通过 HTTPS 请求每个域名的首页，并跟随重定向。许多 Tranco 条目是没有网站的 CDN、API 或跟踪域名：2,155 个完全没有 HTTP 响应，1,415 个返回 403。我们保留了首页返回状态 200 HTML 页面的 5,480 个域名，按重定向后的最终主机名各计一次。

对每个网站，我们在最终主机名上请求 /llms.txt。当响应为 200、不是 HTML，且读起来像 Markdown（开头附近有标题或 Markdown 链接）时，我们计为该网站有 llms.txt。617 个网站返回 HTML，44 个返回其他内容（大多是 JSON 错误正文），3,789 个返回 404 或其他 4xx，149 个失败。结构用我们 llms.txt 验证器背后的校验程序检查；“符合”指相对 llmstxt.org 格式没有错误，允许有警告。我们还请求了 /llms-full.txt。

我们的爬虫自称 Mentioned-Research/1.0。在防火墙层拒绝未知机器人的网站不在样本中，而这些网站很可能对 AI 爬虫也更严格，所以请把这里的每个屏蔽率看作下限，而不是对整个网络的估计。这些数字描述的是热门网站，而不是整个网络，并且只是 2026年10月的某一天。

引用本文

欢迎引用这些数据并制作图表，请附上指向本页的链接。建议引用格式：Mentioned, “llms.txt Adoption: How Many of the Top 10,000 Sites Have One?,” 2026年10月28日, https://mentioned.at/learn/llms-txt-adoption。数据和文本以 CC BY 4.0 发布。

问题

免费检查一次