Erros no robots.txt e novas diretivas em 4,762 sites top

Principais conclusões

• 3.7% dos arquivos robots.txt contêm uma linha que os crawlers ignoram segundo a RFC 9309: uma diretiva desconhecida, um caminho sem barra inicial, uma linha sem dois-pontos ou uma regra antes de qualquer User-agent.
• O Content-Signal, a nova diretiva de uso por IA da Cloudflare, já está em 4.7% dos arquivos (224). 161 deles dizem ai-train=no; 223 dizem search=yes.
• 12.2% ainda definem Crawl-delay, que o Google diz não suportar. A Anthropic diz que o respeita.
• 24 arquivos ainda usam Noindex, uma linha que o parser do Google ignora.
• 70.9% declaram um sitemap, a única linha que não é regra e que todo grande buscador lê.
• 199 sites respondem a /robots.txt com uma página HTML e 6 têm HTML colado dentro do próprio arquivo.

As linhas que não fazem nada

A RFC 9309, o padrão do robots.txt, define user-agent, allow e disallow. O Google acrescenta sitemap e diz que “other fields such as crawl-delay aren’t supported” e que regras além dessas são ignoradas pelo parser dele (Google Search Central). Nosso parser segue a RFC e também aceita os muito usados crawl-delay, host e clean-param. Deixando o Content-Signal de lado, veja o que ele pulou:

As diretivas desconhecidas são um registro de ideias que nunca viraram padrão. Além do Content-Signal, as mais comuns eram Noindex (24 arquivos), invenções ligadas à IA como LLMs, LLM-policy e Agentmap (10, 8 e 8 arquivos), e as antigas Request-rate e Visit-time. Uma linha que aponta para o seu llms.txt a partir do robots.txt é inofensiva, mas nenhum crawler que conhecemos a lê ali.

Linhas sem dois-pontos eram geralmente outra coisa: em 6 arquivos, HTML ou CSS de uma página web tinha ido parar dentro do robots.txt.

Content-Signal: uma nova linha para o uso por IA

Os Content Signals da Cloudflare acrescentam uma linha ao robots.txt dizendo para que o conteúdo de um site pode ser usado: search (montar um índice de busca e devolver links e trechos curtos), ai-input (alimentar um modelo com o conteúdo na hora da resposta, como em recuperação ou grounding) e ai-train (treinar ou ajustar modelos). A Cloudflare deixa claro que são preferências, que os crawlers podem ignorar. Na nossa amostra:

O padrão bate com o que os sites fazem com as regras de crawlers: sim para busca, não para treino, e nas respostas de IA a maioria diz sim ou não diz nada. Só 10 de 224 sites recusam o ai-input, o sinal que cobre ser citado em respostas de IA. Nosso parser trata a linha como desconhecida, como qualquer crawler que não a adotou; deixamos ela fora das contagens de erros acima.

Limpe o seu próprio arquivo

1. Apague o Noindex e tudo o mais que o Google lista como não suportado. Para manter uma página fora dos resultados, use uma meta tag noindex na página, e deixe os crawlers a buscarem para que vejam a tag.
2. Comece todo caminho com /, e coloque toda regra sob uma linha User-agent.
3. Busque o arquivo publicado e confirme que é texto simples, não a sua página inicial.
4. Confira o que cada crawler de IA pode fazer com o verificador de crawlers de IA, que lista cada linha que ele ignorou e por quê. Para os crawlers em si, veja quais sites bloqueiam crawlers de IA.

Método e limites

Pegamos os 10,000 primeiros domínios da lista Tranco GQ3LK (um ranking de pesquisa que combina dados do Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic e Farsight de 28 de setembro a 27 de outubro de 2026). Em 28 de outubro de 2026, nosso crawler pediu a página inicial de cada domínio por HTTPS, seguindo redirecionamentos. Muitas entradas da Tranco são domínios de CDN, API ou rastreamento sem site: 2,155 não deram nenhuma resposta HTTP e 1,415 responderam 403. Ficamos com os 5,480 domínios cuja página inicial devolveu uma página HTML com status 200, contados uma vez por hostname final após os redirecionamentos. 4,762 deles serviam um robots.txt que conseguimos analisar; o tamanho mediano era de 600 bytes.

Os arquivos foram analisados com o parser RFC 9309 por trás do nosso verificador de crawlers de IA, que relata cada linha que um crawler pularia. As contagens de diretivas são a parcela de arquivos que contêm cada campo pelo menos uma vez, sem comentários. Outros parsers são mais tolerantes em alguns pontos (o do Google aceita alguns erros de digitação, como o nosso), então uma linha apontada é uma que um leitor rigoroso ignora, não prova de que todo crawler a ignore. Nosso crawler se identificou como Mentioned-Research/1.0. Sites que recusam bots desconhecidos no firewall ficam fora da amostra, e esses sites provavelmente são mais rígidos com crawlers de IA também, então trate cada taxa de bloqueio aqui como um piso, não como uma estimativa da web inteira.

Cite este conteúdo

Fique à vontade para citar e fazer gráficos com estes números, com um link de volta. Citação sugerida: Mentioned, “robots.txt Mistakes and New Directives in 4,762 Top Sites,” 28 de outubro de 2026, https://mentioned.at/learn/robots-txt-errors. Dados e texto publicados sob CC BY 4.0.

Perguntas

Faça uma verificação grátis