AI 爬虫与 robots.txt:该放行哪些机器人

简短回答。如果你想被 AI 助手推荐,就放行它们的搜索爬虫:ChatGPT 用 OAI-SearchBot,Claude 用 Claude-SearchBot,Perplexity 用 PerplexityBot,以及助手所依赖的搜索引擎的 Googlebot 和 Bingbot。至于是否同时放行 GPTBot、ClaudeBot 这类训练爬虫,是另一个关于未来模型的选择,并不决定你今天能否被引用。

三类 AI 爬虫

读一读各运营方自己的文档,爬虫可以分成三组。

搜索爬虫:决定你能否被引用

它们为页面建立索引,让助手在对话中搜索时能找到。OpenAI 表示,退出 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索答案中。Anthropic 表示,禁用 Claude-SearchBot 可能会降低你在 Claude 搜索结果中的可见度。Perplexity 表示,PerplexityBot 会在答案中呈现并链接网站,且不用于训练。Meta 的 meta-webindexer 为 Meta AI 承担同样的工作。

Google 和 Microsoft 没有为此单独运行爬虫。Google 表示,AI Overviews 和 AI Mode 使用与搜索相同的控制方式,所以这里起作用的是 Googlebot。

用户抓取器:有人提出了请求

ChatGPT-User、Claude-User、Perplexity-User 和 MistralAI-User 会打开某个页面,是因为对话中有人问到它或粘贴了链接。OpenAI 表示,robots.txt 规则可能不适用于 ChatGPT-User;Perplexity 表示,由于是用户请求的页面,Perplexity-User 通常会忽略这些规则。Anthropic 表示,它的爬虫(包括 Claude-User)都遵守 robots.txt。

训练爬虫和标记:面向未来的模型

GPTBot、ClaudeBot、meta-externalagent 以及 Common Crawl 的 CCBot 会收集可能用于训练模型的页面。这里有两项根本不是爬虫。Google-Extended 控制 Gemini 能否把 Googlebot 已抓取的页面用于训练和落地(grounding),Google 表示它对搜索没有影响。Applebot-Extended 控制 Apple 能否用 Applebot 抓取的内容做训练。

屏蔽各个爬虫会改变什么

如果你屏蔽	会发生什么
`OAI-SearchBot`	你的页面无法出现在 ChatGPT 搜索答案中
`Claude-SearchBot`	Claude 的搜索无法为你的页面建立索引
`PerplexityBot`	Perplexity 无法呈现并链接你的页面
`Googlebot`	你会退出 Google 搜索,包括 AI Overviews 和 AI Mode
`GPTBot`, `ClaudeBot`	你的内容被排除在未来训练之外。实时搜索答案不受影响
`Google-Extended`	Gemini 无法用你的页面进行训练,也无法以它们作为答案依据。Google 搜索不受影响
`CCBot`	新页面不会进入 Common Crawl,而很多模型正是用它训练的

摘自各运营方的文档,阅读于 2026 年 10 月 24 日:OpenAI、Anthropic、Perplexity、Google、Meta、Apple、Common Crawl。

想被引用的 B2B 网站适用的 robots.txt

这份配置放行所有搜索和答案爬虫,让你的私有路径保持私有,并把训练的决定写明白。如果你愿意让公开页面用于训练,删掉最后一组即可。

# Everyone: crawl the public site, not the app
User-agent: *
Disallow: /app/
Disallow: /admin/

# AI search and answer crawlers: same rules, named so nobody
# "tidies" them into a block later
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: meta-webindexer
Disallow: /app/
Disallow: /admin/

# Training: opt out (optional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

有一条规则常让人踩坑:爬虫只遵循点名它的那一组。如果你给 OAI-SearchBot 单独设了一组,它就会忽略 User-agent: * 下的所有内容,所以私有路径要像上面那样重复写一遍。

常见错误

把测试环境的 robots.txt 带到了生产环境。User-agent: * / Disallow: / 会屏蔽所有守规矩的爬虫,搜索爬虫也不例外。
把首页当成 robots.txt 返回。单页应用常常对所有未知路径都返回应用本身。爬虫读到后发现没有规则,就放行一切,包括你原本想屏蔽的内容。
robots.txt 报错。RFC 9309 规定,爬虫收到服务器错误时,必须把整个网站视为被屏蔽,直到文件能正常加载。
为了“不出现在 ChatGPT 里”而屏蔽 GPTBot。那只是退出训练。决定 ChatGPT 搜索的是 OAI-SearchBot。
防火墙挡掉了 robots.txt 放行的爬虫。CDN 的机器人防护可能在爬虫读取任何内容之前就把它们拒之门外。如果你的 robots.txt 对爬虫返回 403,这很可能就是原因。

AI 爬虫检查器会按 RFC 规定的爬虫方式读取你的 robots.txt,给出 18 个爬虫的判定结果,并标出决定每个结果的那一行。

能被抓取,不等于会被推荐

放行搜索爬虫,只是让你有资格被引用。买家要一份候选名单时,助手不一定会选你。这取决于模型已经知道你所在品类的哪些信息、它信任哪些来源,以及你的页面是否回答了被问到的问题。下一步是弄清楚 ChatGPT、Claude 和 Gemini 今天怎么说。想知道什么能改变这一点,请看如何被提及指南。

问题

B2B 公司应该屏蔽 AI 爬虫吗?

通常不该屏蔽搜索爬虫。OAI-SearchBot、Claude-SearchBot 和 PerplexityBot 决定这些助手在搜索时能否找到并引用你的页面。屏蔽 GPTBot、ClaudeBot 这类训练爬虫,是另一个决定:你的内容会不会用来训练未来的模型,它不会让你从实时答案里消失。

屏蔽 Google-Extended 会让我从 AI Overviews 中消失吗?

不会。Google 表示 Google-Extended 不影响 Google 搜索,而 AI Overviews 和 AI Mode 属于搜索的一部分。它们遵循 Googlebot 的 robots.txt 规则,以及 noindex 和 nosnippet 控制。

robots.txt 的修改要多久才生效?

取决于运营方。Meta 表示其爬虫可能会缓存 robots.txt 最长 24 小时,Amazon 表示约 24 小时,DuckDuckGo 表示 DuckAssistBot 为 72 小时。请按几天来计划。

只靠 robots.txt 就能挡住爬虫吗?

对遵守它的爬虫来说,可以。它是一种请求,不是一把锁:一些由用户触发的抓取器表示它们可能不遵守,而任何无视该标准的程序也不会被它拦住。要强制执行,得靠防火墙和 CDN 规则。

免费检查一次检查你的 robots.txt →