O Claude responde a partir do que aprendeu no treino e, cada vez mais, de uma busca ao vivo na web. Cada caminho tem seu próprio crawler e suas próprias regras. Veja como os dois funcionam, segundo a própria documentação da Anthropic, e o que você pode mudar.
Pelo treino. O Claude aprendeu com textos da web coletados antes do corte do treino. Se a sua marca era descrita de forma ampla e coerente naquela época, o Claude pode citar você sem busca nenhuma. Esse conhecimento só muda quando um novo modelo é treinado, então se move devagar.
Por uma busca ao vivo. O Claude pode pesquisar na web enquanto responde. A central de ajuda da Anthropic diz que o Claude “searches the web when it helps”, que um usuário também pode pedir isso e que “every response includes citations” (Central de Ajuda do Claude). Para perguntas do tipo “melhor ferramenta para” e “alternativas a”, essa busca é onde uma marca mais nova ou menor tem sua chance.
A Anthropic documenta três user agents, cada um com sua tarefa (Central de Ajuda do Claude). Bloqueie um e você desliga só aquela tarefa:
| User agent | O que faz | Se você o bloquear | Sites top que o bloqueiam |
|---|---|---|---|
ClaudeBot | Coleta conteúdo da web que pode ser usado para treino | Suas páginas futuras ficam fora dos dados de treino | 13.4% |
Claude-SearchBot | Rastreia para melhorar a qualidade dos resultados de busca do Claude | A Anthropic diz que isso pode reduzir sua visibilidade nos resultados de busca | 5.4% |
Claude-User | Busca uma página quando a pergunta de um usuário precisa dela | O Claude não consegue abrir sua página para aquele usuário | 5.6% |
Parcela de 4,762 arquivos robots.txt do top 10,000 da Tranco que proíbem cada crawler na página inicial, lidos em 28 de outubro de 2026. Método no nosso estudo de crawlers.
A maioria dos sites acertou a divisão: dos 640 sites top que bloqueiam o ClaudeBot, 385 (60%) ainda deixam o Claude-SearchBot entrar. Os que preocupam são os bloqueios acidentais. 108 dos 256 sites que bloqueiam o Claude-SearchBot nunca o nomeiam; uma regra User-agent: * escrita para outros bots faz isso. A Anthropic também respeita a linha não padrão Crawl-delay se você precisar desacelerar os crawlers dela em vez de pará-los.
A Anthropic não diz nas páginas de ajuda qual buscador o Claude usa. A lista de subprocessadores diz. Em 28 de outubro de 2026, o Trust Center da Anthropic listava três empresas em “Web Search”:
A lista não diz como os três dividem o trabalho, então não leia nela mais do que isto: suas páginas precisam estar em um índice da web que o Claude consiga alcançar, e o do Brave é o que você pode checar sozinho. Pesquise sua marca e sua categoria em search.brave.com. O Brave diz que seu crawler não anuncia um user agent próprio e que, se o Googlebot não consegue rastrear uma página, o Brave também não rastreia (Ajuda do Brave Search). Então uma página que você mantém longe do Googlebot fica longe do Brave também. A busca de imagens dentro do Claude é separada: a central de ajuda da Anthropic diz que ela é feita pelo Bing.
*.claude.com/crawling/bots.json.Faça ao Claude as perguntas que seus compradores fazem e leia as respostas, incluindo quais sites ele cita. O Mentioned faz ao Claude, ChatGPT e Gemini cinco perguntas de compradores sobre sua categoria, mostra a frase em que você é citado ou quem foi citado no seu lugar, e acompanha as mesmas perguntas toda semana depois que você as salva. Para os outros assistentes, veja nossos guias de ChatGPT, Perplexity, Gemini e Copilot.
Não. O ClaudeBot coleta dados de treino. As respostas com busca do Claude dependem do Claude-SearchBot e do Claude-User, que a Anthropic documenta separadamente. Bloqueie o ClaudeBot e mantenha os outros dois permitidos se quiser ficar fora do treino mas continuar pesquisável.
A lista de subprocessadores da Anthropic cita três provedores de busca na web para o Claude: Brave Search, TurboPuffer e Parallel Web Systems. Ela não diz como eles dividem o trabalho. A busca de imagens no Claude é feita pelo Bing, segundo a central de ajuda da Anthropic.
Quando pesquisa na web, sim. A Anthropic diz que toda resposta com busca na web inclui citações, com links e trechos relevantes, para você ver em quais páginas uma resposta se baseou.
Faça ao Claude as perguntas que um comprador faria sobre sua categoria, com a busca na web ativada, e veja se você é citado. Como as respostas variam, faça várias perguntas e repita ao longo do tempo. O Mentioned faz isso automaticamente no Claude, ChatGPT e Gemini.