Veja se o seu robots.txt deixa ChatGPT, Claude, Perplexity, Gemini e outros crawlers de IA lerem uma página. Você recebe um veredito para cada crawler e a linha exata que decidiu.
Ele busca o robots.txt do host que você digitar e o lê como a RFC 9309 diz que um crawler deve ler. Um crawler segue o grupo que o nomeia e só recorre a User-agent: * quando nada o nomeia. Dentro desse grupo, vale a regra correspondente mais longa. Arquivo ausente significa que todas as páginas são permitidas. Arquivo que dá erro significa que todas as páginas estão bloqueadas.
Ele não verifica firewalls, configurações de bots da CDN nem tags noindex. Para os sinais no nível da página, use o verificador de dados estruturados.
A maioria das empresas de IA opera mais de um crawler, e eles fazem trabalhos diferentes. Bloquear um não bloqueia os outros.
Num site B2B, a pergunta de sempre não é “devemos bloquear a IA?”, e sim “estamos bloqueando por acidente os bots que decidem se somos citados?” Um User-agent: * / Disallow: / genérico, esquecido de um site de staging, faz exatamente isso. Nosso guia sobre crawlers de IA e robots.txt explica as escolhas.
| Token | Operadora | O que faz |
|---|---|---|
OAI-SearchBot | OpenAI | Busca do ChatGPT. Documentação |
ChatGPT-User | OpenAI | Busca a pedido de um usuário do ChatGPT; o robots.txt pode não valer |
GPTBot | OpenAI | Treinamento de modelos |
Claude-SearchBot | Anthropic | Resultados de busca do Claude. Documentação |
Claude-User | Anthropic | Busca a pedido de um usuário do Claude |
ClaudeBot | Anthropic | Treinamento de modelos |
PerplexityBot | Perplexity | Respostas do Perplexity; não é treinamento. Documentação |
Perplexity-User | Perplexity | Busca a pedido de um usuário; em geral ignora o robots.txt |
Googlebot | Busca, incluindo AI Overviews e AI Mode. Documentação | |
Google-Extended | Token: treinamento e embasamento do Gemini; não é a Busca. Documentação | |
Bingbot | Microsoft | Busca do Bing. Documentação |
meta-webindexer | Meta | Resultados de busca da Meta AI. Documentação |
meta-externalagent | Meta | Treinamento de modelos e indexação |
Applebot-Extended | Apple | Token: treinamento de modelos da Apple. Documentação |
Amzn-SearchBot | Amazon | Busca em produtos da Amazon como a Alexa. Documentação |
DuckAssistBot | DuckDuckGo | Respostas assistidas por IA do DuckDuckGo. Documentação |
MistralAI-User | Mistral | Busca a pedido de um usuário da Mistral. Documentação |
CCBot | Common Crawl | Arquivo aberto da web em que muitos modelos treinam. Documentação |
As finalidades vêm da documentação de cada operadora, lida em 24 de outubro de 2026. As operadoras adicionam e renomeiam crawlers, então confira as páginas delas antes de alterar um robots.txt em produção.
Não da busca do ChatGPT. A OpenAI documenta o GPTBot como o crawler de treinamento de modelos e o OAI-SearchBot como o que decide se um site pode aparecer nas respostas da busca do ChatGPT. Bloquear o GPTBot e permitir o OAI-SearchBot é uma configuração comum: fora do treinamento, ainda elegível para ser citado.
Não. O Google diz que o Google-Extended governa se o Gemini pode treinar com o seu conteúdo ou embasar respostas nele, e que isso não afeta a Busca do Google. AI Overviews e AI Mode fazem parte da Busca e seguem os mesmos controles: o Googlebot no robots.txt, mais noindex e nosnippet na página.
As operadoras dos crawlers de busca e de treinamento listados aqui dizem que os delas obedecem. Os que agem a pedido de um usuário são diferentes: a OpenAI diz que as regras do robots.txt podem não valer para o ChatGPT-User, e o Perplexity diz que o Perplexity-User em geral as ignora, porque uma pessoa pediu aquela página.
Ser rastreável é só o primeiro passo. Se um assistente recomenda você depende do que ele leu sobre a sua categoria, em quais sites confia e com que frequência você aparece junto das perguntas que os compradores fazem. Faça uma verificação gratuita para ver onde você está.
Geralmente porque o robots.txt não carregou. A RFC 9309 diz que um crawler que recebe um erro de servidor, ou nenhuma resposta, deve presumir que o site inteiro está fora dos limites até conseguir ler o arquivo. Confira se /robots.txt retorna 200 com texto simples.
Não. Ele lê o robots.txt, que é o que se pede aos crawlers para seguir. Uma regra de firewall, CDN ou proteção contra bots pode bloquear um crawler independentemente do robots.txt. Se o verificador vê um 403 no próprio robots.txt, ele avisa, porque isso muitas vezes significa que os bots estão sendo barrados antes de ler qualquer coisa.
Um crawler que consegue ler suas páginas é necessário, não suficiente. A pergunta que o seu time recebe é se ChatGPT, Claude e Gemini recomendam vocês quando um comprador pede uma lista de opções, e quem eles citam no lugar. É isso que o Mentioned mede: as mesmas perguntas de comprador toda semana, as respostas completas e uma lista ordenada do que corrigir.