Claude 根据训练中学到的内容作答,也越来越多地依靠实时网页搜索。每条路径都有自己的爬虫和规则。以下根据 Anthropic 自己的文档说明两者如何运作,以及你能改变什么。
来自训练。Claude 从训练截止日期前收集的网页文本中学习。如果你的品牌当时被广泛且一致地描述,Claude 不搜索也可能点名你。这种知识只有在新模型训练时才会变化,所以变化很慢。
来自实时搜索。Claude 可以在回答时搜索网页。Anthropic 帮助中心说 Claude “searches the web when it helps”,用户也可以要求它搜索,并且 “every response includes citations”(Claude 帮助中心)。对于“最适合……的工具”和“……的替代方案”这类问题,较新或较小的品牌正是在这次搜索中获得机会。
Anthropic 记录了三个用户代理,各有各的任务(Claude 帮助中心)。屏蔽其中一个,只会关掉那一项任务:
| User agent | 作用 | 如果你屏蔽它 | 屏蔽它的头部网站 |
|---|---|---|---|
ClaudeBot | 收集可能用于训练的网页内容 | 你今后的页面不会进入训练数据 | 13.4% |
Claude-SearchBot | 抓取以提升 Claude 搜索结果的质量 | Anthropic 表示可能降低你在搜索结果中的可见度 | 5.4% |
Claude-User | 当用户的问题需要时抓取页面 | Claude 无法为该用户打开你的页面 | 5.6% |
Tranco 前 10,000 的 4,762 个 robots.txt 中,在首页禁止各爬虫的占比,2026年10月28日读取。方法见我们的爬虫研究。
大多数网站已经分得很清楚:屏蔽 ClaudeBot 的 640 个头部网站中,有 385 个(60%)仍放行 Claude-SearchBot。值得担心的是无意的屏蔽。屏蔽 Claude-SearchBot 的 256 个网站中有 108 个从未点名它;是一条为其他机器人写的 User-agent: * 规则造成的。如果你需要放慢而不是阻止 Anthropic 的爬虫,它也遵守非标准的 Crawl-delay 行。
Anthropic 在帮助页面中没有说 Claude 使用哪个搜索引擎,但它的子处理方列表写了。2026年10月28日,Anthropic 的 Trust Center 在“Web Search”下列出三家公司:
列表没有说三家如何分工,所以不要过度解读,能读出的只有这一点:你的页面需要在 Claude 能访问到的网页索引中,而 Brave 的索引是你自己可以检查的。在 search.brave.com 上搜索你的品牌和品类。Brave 表示它的爬虫不公开自己的用户代理,并且如果 Googlebot 无法抓取某个页面,Brave 也不会抓取(Brave Search 帮助)。所以你挡在 Googlebot 之外的页面,也会被挡在 Brave 之外。Claude 内的图片搜索是另一回事:Anthropic 帮助中心说它由 Bing 提供。
* 组。claude.com/crawling/bots.json 公布了其爬虫的 IP 范围。向 Claude 提出买家会问的问题,并阅读回答,包括它引用了哪些网站。Mentioned 就你的品类向 Claude、ChatGPT 和 Gemini 提出五个买家问题,显示点名你的那句话或取而代之被点名的对象,并在你保存问题后每周追踪同样的问题。其他助手请看我们的 ChatGPT、Perplexity、Gemini 和 Copilot 指南。
不会。ClaudeBot 收集训练数据。Claude 的搜索回答依赖 Claude-SearchBot 和 Claude-User,Anthropic 单独记录了它们。如果你想不进入训练又能被搜到,就屏蔽 ClaudeBot,同时允许另外两个。
Anthropic 的子处理方列表为 Claude 列出了三家网页搜索提供商:Brave Search、TurboPuffer 和 Parallel Web Systems。列表没有说明它们如何分工。根据 Anthropic 帮助中心,Claude 中的图片搜索由 Bing 提供。
在搜索网页时会。Anthropic 表示,每个网页搜索回答都包含带链接和相关引文的出处,所以你能看到回答依据了哪些页面。
开启网页搜索,向 Claude 提出买家可能就你的品类问的问题,看看你是否被点名。由于回答会变化,要问多个问题并随时间重复。Mentioned 会在 Claude、ChatGPT 和 Gemini 上自动完成这些。