Bloquear um crawler de treino mantém suas páginas fora de modelos futuros. Bloquear um crawler de busca as mantém fora das respostas de hoje. Analisamos o robots.txt de 4,762 dos sites mais populares do mundo para ver qual dos dois os sites realmente fazem.
User-agent: *. 56 sites bloqueiam todos os crawlers por padrão e liberam o Googlebot.Toda grande empresa de IA hoje roda crawlers separados para tarefas separadas, e cada uma diz isso na documentação. A OpenAI diz que “each setting is independent of the others”: o GPTBot coleta dados de treino, o OAI-SearchBot decide o que pode aparecer na busca do ChatGPT. A Anthropic divide do mesmo jeito entre ClaudeBot e Claude-SearchBot (Central de Ajuda do Claude), e o Google-Extended controla o treino e o grounding do Gemini sem afetar a Busca Google (Google Search Central).
Os donos de sites entenderam o recado. Entre os sites que bloqueiam o crawler de treino de uma empresa, a maioria mantém o crawler de busca dela:
| Empresa | Crawler de treino bloqueado | Crawler de busca ainda permitido | Ambos bloqueados |
|---|---|---|---|
| OpenAI | 705 (GPTBot) | 421 (60%) | 284 |
| Anthropic | 640 (ClaudeBot) | 385 (60%) | 255 |
| 579 (Google-Extended) | 508 (88%, Googlebot) | 71 |
O contrário quase nunca acontece: 0 sites bloqueiam o OAI-SearchBot permitindo o GPTBot, e 1 faz o mesmo com a Anthropic.
Um opt-out chega às respostas. O Google-Extended cobre o grounding no Gemini além do treino, então os 579 sites (12.2%) que o bloqueiam pediram ao Google que não use suas páginas para fundamentar as respostas do Gemini, e continuam na Busca Google.
Uma regra para User-agent: * vale para todo crawler que o arquivo não nomeia. Um site que escreve Disallow: / sob * e depois libera Googlebot e Bingbot pelo nome bloqueou, talvez sem querer, todos os crawlers de busca com IA também. Encontramos 126 sites com bloqueio geral; 56 deles liberam o Googlebot, e 38 desses deixam o OAI-SearchBot de fora. Só 18 sites com bloqueio geral nomeiam o OAI-SearchBot como exceção.
É assim que 100 dos 284 bloqueios do OAI-SearchBot e 108 dos 256 bloqueios do Claude-SearchBot acontecem sem que o bot seja nomeado. Se você queria deixar a busca com IA entrar, uma lista de permissões escrita antes de esses crawlers existirem é o primeiro lugar para olhar.
Entre os 200 sites mais bem ranqueados que conseguimos ler, estes bloqueiam pelo menos um entre OAI-SearchBot, Claude-SearchBot e PerplexityBot na página inicial:
| Site | Crawlers de busca com IA bloqueados | Como |
|---|---|---|
| reddit.com | Os três | User-agent: * / Disallow: / para todos os crawlers, Googlebot incluído |
| cnn.com | Os três | Nomeia cada crawler de IA e o proíbe |
| facebook.com, instagram.com | Os três | Bloqueia todos os crawlers por padrão e depois libera buscadores nomeados |
| x.com, pinterest.com, tiktok.com | Os três | Bloqueio padrão em * com exceções |
| msn.com | Os três | Nomeia os crawlers de IA que bloqueia |
| theguardian.com | Claude-SearchBot, PerplexityBot | O OAI-SearchBot não está bloqueado |
| yahoo.com, primevideo.com, whatsapp.com | Só o PerplexityBot | Os crawlers de busca da OpenAI e da Anthropic não estão bloqueados |
Redes sociais e grandes publishers dominam a lista. A maioria são sites com negócios de licenciamento ou acordos de conteúdo a proteger, não marcas que querem ser encontradas por compradores.
Parcela dos 4,762 sites com robots.txt legível que proíbem cada crawler na página inicial, no total e por faixa do ranking Tranco.
| User agent | Operador · função | Sites que bloqueiam | Percentual | Top 1,000 | 1,001–10,000 |
|---|---|---|---|---|---|
CCBot | Common Crawl · treino | 728 | 15.3% | 18.9% | 14.9% |
Bytespider | ByteDance · treino | 726 | 15.2% | 19.2% | 14.9% |
GPTBot | OpenAI · treinamento | 705 | 14.8% | 16.6% | 14.6% |
ClaudeBot | Anthropic · treino | 640 | 13.4% | 16.1% | 13.2% |
Google-Extended | Google · treino | 579 | 12.2% | 14.7% | 11.9% |
meta-externalagent | Meta · treinamento | 567 | 11.9% | 14.5% | 11.7% |
Applebot-Extended | Apple · treino | 545 | 11.4% | 13.1% | 11.3% |
PerplexityBot | Perplexity · busca | 425 | 8.9% | 12.1% | 8.6% |
OAI-SearchBot | OpenAI · busca | 284 | 6.0% | 8.2% | 5.7% |
Claude-SearchBot | Anthropic · busca | 256 | 5.4% | 9.1% | 5.0% |
DuckAssistBot | DuckDuckGo · busca | 289 | 6.1% | 10.0% | 5.7% |
meta-webindexer | Meta · busca | 215 | 4.5% | 7.7% | 4.2% |
Amzn-SearchBot | Amazon · busca | 177 | 3.7% | 6.5% | 3.4% |
Bingbot | Microsoft · busca | 87 | 1.8% | 2.3% | 1.8% |
Googlebot | Google · busca | 75 | 1.6% | 2.6% | 1.5% |
ChatGPT-User | OpenAI · acionado pelo usuário | 371 | 7.8% | 10.3% | 7.5% |
Perplexity-User | Perplexity · acionado pelo usuário | 287 | 6.0% | 10.7% | 5.6% |
Claude-User | Anthropic · acionado pelo usuário | 267 | 5.6% | 9.8% | 5.2% |
MistralAI-User | Mistral · acionado pelo usuário | 239 | 5.0% | 9.6% | 4.6% |
User-agent: *. Se ele proíbe /, todo crawler de IA que você não nomeou está bloqueado./robots.txt com uma página HTML, que os crawlers leem como ausência de regras.Pegamos os 10,000 primeiros domínios da lista Tranco GQ3LK (um ranking de pesquisa que combina dados do Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic e Farsight de 28 de setembro a 27 de outubro de 2026). Em 28 de outubro de 2026, nosso crawler pediu a página inicial de cada domínio por HTTPS, seguindo redirecionamentos. Muitas entradas da Tranco são domínios de CDN, API ou rastreamento sem site: 2,155 não deram nenhuma resposta HTTP e 1,415 responderam 403. Ficamos com os 5,480 domínios cuja página inicial devolveu uma página HTML com status 200, contados uma vez por hostname final após os redirecionamentos. Desses, 4,762 serviam um robots.txt que conseguimos analisar; 405 não tinham (uma resposta 4xx, o que significa sem regras), 199 devolveram uma página HTML e 114 falharam ou responderam 5xx.
Cada robots.txt foi lido com o parser RFC 9309 por trás do nosso verificador de crawlers de IA: um crawler obedece aos grupos que nomeiam seu product token, recorre a * só quando nenhum o faz, e a regra correspondente mais longa vence. “Bloqueado” significa que o arquivo proíbe aquele crawler no caminho da página inicial /, que é como um opt-out completo se parece. Um site que bloqueia só algumas seções conta como permitido. As parcelas são sobre sites com robots.txt legível; como parcelas de todos os 5,480 sites, ficam um pouco menores. A lista de crawlers e seus papéis vêm da documentação de cada operador, linkada no verificador; Bytespider, Amazonbot e o token aposentado anthropic-ai estão incluídos porque muitos arquivos ainda os nomeiam.
Nosso crawler se identificou como Mentioned-Research/1.0. Sites que recusam bots desconhecidos no firewall ficam fora da amostra, e esses sites provavelmente são mais rígidos com crawlers de IA também, então trate cada taxa de bloqueio aqui como um piso, não como uma estimativa da web inteira. O robots.txt declara uma preferência; ele não mostra se um crawler obedece, e alguns sites podem servir um arquivo diferente aos crawlers que nomeiam. Isto é um retrato de um único dia.
Fique à vontade para citar e fazer gráficos com estes números, com um link de volta. Citação sugerida: Mentioned, “Which Sites Block AI Crawlers? We Read 4,762 robots.txt Files,” 28 de outubro de 2026, https://mentioned.at/learn/ai-crawler-blocking-study. Dados e texto publicados sob CC BY 4.0.
No nosso rastreamento de outubro de 2026 do top 10,000 da Tranco, 14.8% dos 4,762 sites com robots.txt legível proibiam o GPTBot na página inicial. No top 1,000 eram 16.6%.
Não. A OpenAI usa o OAI-SearchBot para a busca do ChatGPT e diz que cada configuração de crawler é independente. Um site que bloqueia o GPTBot mas permite o OAI-SearchBot ainda pode ser citado nas respostas da busca do ChatGPT.
O CCBot, o crawler da Common Crawl, em 15.3% dos sites, logo à frente do Bytespider da ByteDance e do GPTBot da OpenAI. Entre os crawlers de busca com IA, o PerplexityBot é o mais bloqueado, com 8.9%.
4.5% dos sites que lemos bloqueiam OAI-SearchBot, Claude-SearchBot e PerplexityBot juntos, e 9.3% bloqueiam pelo menos um deles.