哪些网站屏蔽 AI 爬虫？我们读取了 4,762 个 robots.txt 文件

主要发现

• 训练爬虫被屏蔽的频率约为 AI 搜索爬虫的两倍。14.8% 的 robots.txt 屏蔽 GPTBot，13.4% 屏蔽 ClaudeBot，而 OAI-SearchBot 为 6.0%，Claude-SearchBot 为 5.4%。
• 大多数拒绝训练的网站仍留在 AI 搜索中。在屏蔽 GPTBot 的 705 个网站中，421 个（60%）仍放行 OAI-SearchBot。在屏蔽 ClaudeBot 的 640 个网站中，385 个（60%）仍允许 Claude-SearchBot。
• 4.5% 的网站屏蔽了全部三个 AI 搜索爬虫（OAI-SearchBot、Claude-SearchBot 和 PerplexityBot），这等于把 ChatGPT 搜索、Claude 和 Perplexity 用来寻找可引用页面的爬虫挡在门外。9.3% 至少屏蔽了一个。
• 很多搜索屏蔽看起来是无意的。屏蔽 OAI-SearchBot 的 284 个网站中，有 100 个（35%）从未写出它的名字：是一条通配的 User-agent: * 规则造成的。56 个网站默认屏蔽所有爬虫，只把 Googlebot 加入白名单。
• 79.7% 的网站没有屏蔽我们检查的 19 个 AI 爬虫中的任何一个，而 113 个网站全部屏蔽。
• 越大的网站屏蔽得越多。在前 1,000 名中，16.6% 屏蔽 GPTBot，8.2% 屏蔽 OAI-SearchBot；排名更靠后的分别为 14.6% 和 5.7%。

拒绝训练很少影响搜索

如今每家大型 AI 公司都为不同任务运行不同的爬虫，并在各自文档中写明。OpenAI 表示 “each setting is independent of the others”：GPTBot 收集训练数据，OAI-SearchBot 决定什么能出现在 ChatGPT 搜索中。Anthropic 同样分为 ClaudeBot 和 Claude-SearchBot（Claude 帮助中心），Google-Extended 控制 Gemini 的训练和 grounding，而不影响 Google 搜索（Google Search Central）。

网站所有者领会了这个意思。在屏蔽某家公司训练爬虫的网站中，大多数保留了它的搜索爬虫：

反过来的情况几乎没有：0 个网站在允许 GPTBot 的同时屏蔽 OAI-SearchBot，对 Anthropic 这样做的只有 1 个。

有一种拒绝确实会影响回答。Google-Extended 除了训练还涵盖 Gemini 中的 grounding，所以屏蔽它的 579 个网站（12.2%）在留在 Google 搜索中的同时，也要求 Google 不要用它们的页面来支撑 Gemini 的回答。

通配规则的问题

针对 User-agent: * 的规则适用于文件中没有点名的所有爬虫。一个网站在 * 下写了 Disallow: /，再按名称放行 Googlebot 和 Bingbot，就可能在无意中把所有 AI 搜索爬虫也屏蔽了。我们发现 126 个网站全面屏蔽；其中 56 个放行 Googlebot，这 56 个中又有 38 个没有放行 OAI-SearchBot。全面屏蔽的网站中只有 18 个把 OAI-SearchBot 列为例外。

正因如此，OAI-SearchBot 的 284 次屏蔽中有 100 次、Claude-SearchBot 的 256 次屏蔽中有 108 次，都是在从未点名该爬虫的情况下发生的。如果你本想放行 AI 搜索，首先该检查的是在这些爬虫出现之前写好的白名单。

谁在屏蔽 AI 搜索

在我们能读取的排名最高的 200 个网站中，以下网站在首页屏蔽了 OAI-SearchBot、Claude-SearchBot 和 PerplexityBot 中的至少一个：

社交网络和大型出版商占了名单的大部分。它们大多是有授权业务或内容合作需要保护的网站，而不是希望被买家找到的品牌。

完整表格

在 4,762 个 robots.txt 可读的网站中，在首页禁止每个爬虫的网站占比，总体及按 Tranco 排名段划分。

你自己的 robots.txt 该怎么做

1. 分别决定训练和搜索。屏蔽 GPTBot 或 ClaudeBot 不会让你从 ChatGPT 或 Claude 的回答中消失；屏蔽 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 会。
2. 读一读你的 User-agent: * 组。如果它禁止了 /，那么你没有点名的每个 AI 爬虫都被屏蔽了。
3. 检查线上的文件，而不是代码仓库里的那个。我们样本中有 199 个网站对 /robots.txt 返回 HTML 页面，爬虫会把它当作没有任何规则。
4. 测试一下。AI 爬虫检查器用我们这里使用的同一个解析器检查你的网站，AI 爬虫与 robots.txt 提供了一个放行回答类爬虫、挡住训练类爬虫的示例文件。

方法与局限

我们选取了 Tranco 列表 GQ3LK 的前 10,000 个域名（这是一个研究用排名，综合了 Chrome UX Report、Cloudflare Radar、Cisco Umbrella、Majestic 和 Farsight 在 2026年9月28日至10月27日的数据）。2026年10月28日，我们的爬虫通过 HTTPS 请求每个域名的首页，并跟随重定向。许多 Tranco 条目是没有网站的 CDN、API 或跟踪域名：2,155 个完全没有 HTTP 响应，1,415 个返回 403。我们保留了首页返回状态 200 HTML 页面的 5,480 个域名，按重定向后的最终主机名各计一次。其中 4,762 个提供了可解析的 robots.txt；405 个没有（返回 4xx，意味着没有规则），199 个返回 HTML 页面，114 个失败或返回 5xx。

每个 robots.txt 都用我们 AI 爬虫检查器背后的 RFC 9309 解析器读取：爬虫遵守点名其产品标识的组，只有在没有这样的组时才退回到 *，且最长的匹配规则优先。“屏蔽”指文件禁止该爬虫访问首页路径 /，完整的拒绝就是这个样子。只屏蔽部分栏目的网站算作允许。占比是相对于 robots.txt 可读的网站；换算为全部 5,480 个网站的占比会略低一些。爬虫列表和角色来自各运营方自己的文档，检查器中有链接；Bytespider、Amazonbot 和已停用的 anthropic-ai 标识也包括在内，因为很多文件仍在点名它们。

我们的爬虫自称 Mentioned-Research/1.0。在防火墙层拒绝未知机器人的网站不在样本中，而这些网站很可能对 AI 爬虫也更严格，所以请把这里的每个屏蔽率看作下限，而不是对整个网络的估计。robots.txt 表达的是意愿；它不能说明爬虫是否遵守，少数网站也可能向点名的爬虫提供不同的文件。这是某一天的快照。

引用本文

欢迎引用这些数据并制作图表，请附上指向本页的链接。建议引用格式：Mentioned, “Which Sites Block AI Crawlers? We Read 4,762 robots.txt Files,” 2026年10月28日, https://mentioned.at/learn/ai-crawler-blocking-study。数据和文本以 CC BY 4.0 发布。

问题

免费检查一次