免费工具

AI 爬虫检测器

看看你的 robots.txt 是否允许 ChatGPT、Claude、Perplexity、Gemini 和其他 AI 爬虫读取某个页面。你会得到每个爬虫的结论，以及做出这个结论的那一行。

我们会读取该主机上的 /robots.txt，并测试你给出的路径。不会存储任何内容。

检查什么

它从你输入的主机获取 robots.txt，并按 RFC 9309 规定爬虫必须采用的方式来解读。爬虫遵循点名它的那一组规则，只有在没有任何一组点名它时才回退到 User-agent: *。在该组内，最长的匹配规则生效。文件不存在表示所有页面都允许访问。文件出错表示所有页面都被屏蔽。

它不检查防火墙、CDN 的机器人设置或 noindex 标签。页面级信号请使用结构化数据检查器。

搜索爬虫和训练爬虫是不同的机器人

大多数 AI 公司运行不止一种爬虫，它们的作用各不相同。屏蔽其中一个并不会屏蔽其他的。

对 B2B 网站来说，通常的问题不是“我们该屏蔽 AI 吗？”，而是“我们是不是在无意中屏蔽了决定我们能否被引用的机器人？”从测试站遗留下来的全站 User-agent: * / Disallow: / 恰恰会这样做。我们的 AI 爬虫与 robots.txt 指南会带你过一遍各种选择。

我们检查的爬虫

标识运营方作用
OAI-SearchBotOpenAIChatGPT 搜索。文档
ChatGPT-UserOpenAI替 ChatGPT 用户获取页面；robots.txt 可能不适用
GPTBotOpenAI模型训练
Claude-SearchBotAnthropicClaude 的搜索结果。文档
Claude-UserAnthropic替 Claude 用户获取页面
ClaudeBotAnthropic模型训练
PerplexityBotPerplexityPerplexity 的回答；不用于训练。文档
Perplexity-UserPerplexity替用户获取页面；通常忽略 robots.txt
GooglebotGoogle搜索，包括 AI Overviews 和 AI Mode。文档
Google-ExtendedGoogle标识：Gemini 训练与引用依据；不影响搜索。文档
BingbotMicrosoftBing 搜索。文档
meta-webindexerMetaMeta AI 搜索结果。文档
meta-externalagentMeta模型训练与索引
Applebot-ExtendedApple标识：Apple 模型训练。文档
Amzn-SearchBotAmazonAlexa 等 Amazon 产品中的搜索。文档
DuckAssistBotDuckDuckGoDuckDuckGo 的 AI 辅助回答。文档
MistralAI-UserMistral替 Mistral 用户获取页面。文档
CCBotCommon Crawl许多模型用来训练的开放网络存档。文档

用途来自各运营方自己的文档，读取于2026年10月24日。运营方会新增和重命名爬虫，所以在修改线上的 robots.txt 之前，请先查看他们的页面。

问题

屏蔽 GPTBot 会让我的网站从 ChatGPT 中消失吗？

不会从 ChatGPT 搜索中消失。OpenAI 的文档说明，GPTBot 是用于模型训练的爬虫，OAI-SearchBot 则决定网站能否出现在 ChatGPT 搜索回答中。屏蔽 GPTBot 并允许 OAI-SearchBot 是常见的设置：不参与训练，但仍有资格被引用。

Google-Extended 会控制 AI Overviews 吗？

不会。Google 表示，Google-Extended 管的是 Gemini 能否用你的内容训练或作为回答依据，不影响 Google 搜索。AI Overviews 和 AI Mode 属于搜索的一部分，遵循同样的控制方式：robots.txt 中的 Googlebot，加上页面上的 noindex 和 nosnippet。

AI 爬虫会遵守 robots.txt 吗？

这里列出的搜索和训练爬虫的运营方表示它们会遵守。替用户行动的获取器则不同：OpenAI 表示 robots.txt 规则可能不适用于 ChatGPT-User，Perplexity 表示 Perplexity-User 通常会忽略这些规则，因为是有人要求打开那个页面。

我的 robots.txt 允许一切。为什么 AI 助手不提到我们？

能被爬取只是第一步。AI 助手是否推荐你，取决于它读过哪些关于你所在品类的内容、它信任哪些网站，以及你在买家所问的问题旁边出现的频率。运行免费检查，看看你的位置。

robots.txt 里没有 Disallow 行，为什么结果说我的网站被屏蔽了？

通常是因为 robots.txt 没有加载成功。RFC 9309 规定，爬虫如果遇到服务器错误或没有响应，必须假定整个网站禁止访问，直到能读取该文件为止。请确认 /robots.txt 返回 200 和纯文本。

这会检查我的防火墙或 CDN 的机器人设置吗？

不会。它读取的是 robots.txt，也就是爬虫被要求遵循的内容。防火墙、CDN 或机器人防护规则可以不管 robots.txt 而屏蔽爬虫。如果检查器看到 robots.txt 本身返回 403，会明确指出，因为这通常意味着机器人在读取任何内容之前就被拒之门外了。

可被爬取是第一步

爬虫能读取你的页面是必要条件，但不是充分条件。你的团队会被问到的是：当买家要一份候选名单时，ChatGPT、Claude 和 Gemini 会不会推荐你，以及它们转而点了谁的名。这正是 Mentioned 所衡量的：每周同样的买家问题、完整的回答，以及一份排好序的修复清单。

免费检查一次   更多免费工具 →