Erreurs de robots.txt et nouvelles directives sur 4,762 grands sites

Résultats clés

• 3.7 % des fichiers robots.txt contiennent une ligne que les crawlers ignorent selon la RFC 9309 : une directive inconnue, un chemin sans barre oblique initiale, une ligne sans deux-points, ou une règle avant tout User-agent.
• Content-Signal, la nouvelle directive d’usage par l’IA de Cloudflare, figure déjà dans 4.7 % des fichiers (224). 161 d’entre eux indiquent ai-train=no ; 223 indiquent search=yes.
• 12.2 % définissent encore Crawl-delay, que Google dit ne pas prendre en charge. Anthropic dit le respecter.
• 24 fichiers utilisent encore Noindex, une ligne que le parseur de Google ignore.
• 70.9 % déclarent un sitemap, la seule ligne hors règles que lisent tous les grands moteurs de recherche.
• 199 sites répondent à /robots.txt par une page HTML et 6 ont du HTML collé dans le fichier lui-même.

Les lignes qui ne servent à rien

La RFC 9309, la norme robots.txt, définit user-agent, allow et disallow. Google ajoute sitemap et indique que « other fields such as crawl-delay aren’t supported » et que les autres règles sont ignorées par son parseur (Google Search Central). Notre parseur suit la RFC et accepte aussi les très répandus crawl-delay, host et clean-param. En laissant Content-Signal de côté, voici ce qu’il a ignoré :

Les directives inconnues sont la trace d’idées qui ne sont jamais devenues des normes. Outre Content-Signal, les plus courantes étaient Noindex (24 fichiers), des inventions liées à l’IA comme LLMs, LLM-policy et Agentmap (10, 8 et 8 fichiers), et les anciennes Request-rate et Visit-time. Une ligne de robots.txt qui pointe vers votre llms.txt est inoffensive, mais aucun crawler que nous connaissons ne la lit à cet endroit.

Les lignes sans deux-points étaient généralement tout autre chose : dans 6 fichiers, du HTML ou du CSS d’une page web s’était retrouvé dans robots.txt.

Content-Signal : une nouvelle ligne pour l’usage par l’IA

Les Content Signals de Cloudflare ajoutent une ligne à robots.txt qui dit à quoi le contenu d’un site peut servir : search (construire un index de recherche et renvoyer des liens et de courts extraits), ai-input (fournir du contenu à un modèle au moment de répondre, comme pour la récupération ou l’ancrage) et ai-train (entraîner ou affiner des modèles). Cloudflare précise qu’il s’agit de préférences, que les crawlers peuvent ignorer. Dans notre échantillon :

Le schéma correspond à ce que font les sites avec les règles de crawlers : oui à la recherche, non à l’entraînement, et pour les réponses IA, la plupart disent oui ou ne disent rien. Seuls 10 sites sur 224 refusent ai-input, le signal qui couvre le fait d’être cité dans les réponses IA. Notre parseur traite la ligne comme inconnue, comme tout crawler qui ne l’a pas adoptée ; nous l’avons exclue des décomptes d’erreurs ci-dessus.

Nettoyez votre propre fichier

1. Supprimez Noindex et tout ce que Google liste comme non pris en charge. Pour garder une page hors des résultats, utilisez une balise meta noindex sur la page, et laissez les crawlers la récupérer pour qu’ils voient la balise.
2. Commencez chaque chemin par /, et placez chaque règle sous une ligne User-agent.
3. Récupérez le fichier en ligne et vérifiez que c’est du texte brut, pas votre page d’accueil.
4. Vérifiez ce que chaque crawler IA a le droit de faire avec le vérificateur de crawlers IA, qui liste chaque ligne qu’il a ignorée et pourquoi. Pour les crawlers eux-mêmes, voir quels sites bloquent les crawlers IA.

Méthode et limites

Nous avons pris les 10,000 premiers domaines de la liste Tranco GQ3LK (un classement de recherche qui combine des données Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic et Farsight du 28 septembre au 27 octobre 2026). Le 28 octobre 2026, notre crawler a demandé la page d’accueil de chaque domaine en HTTPS, en suivant les redirections. Beaucoup d’entrées Tranco sont des domaines de CDN, d’API ou de tracking sans site web : 2,155 n’ont donné aucune réponse HTTP et 1,415 ont répondu 403. Nous avons gardé les 5,480 domaines dont la page d’accueil renvoyait une page HTML avec le statut 200, comptés une fois par nom d’hôte final après redirections. 4,762 d’entre eux servaient un robots.txt que nous avons pu analyser ; leur taille médiane était de 600 octets.

Les fichiers ont été analysés avec le parseur RFC 9309 de notre vérificateur de crawlers IA, qui signale chaque ligne qu’un crawler ignorerait. Les décomptes de directives sont la part des fichiers qui contiennent chaque champ au moins une fois, commentaires retirés. D’autres parseurs sont plus tolérants par endroits (celui de Google accepte certaines fautes de frappe, comme le nôtre), donc une ligne signalée est une ligne qu’un lecteur strict ignore, pas la preuve que tous les crawlers l’ignorent. Notre crawler s’est identifié comme Mentioned-Research/1.0. Les sites qui refusent les bots inconnus au pare-feu sont absents de l’échantillon, et ces sites sont probablement plus stricts avec les crawlers IA aussi, donc considérez chaque taux de blocage ici comme un plancher plutôt qu’une estimation pour tout le web.

Citer cette page

Vous pouvez citer ces chiffres et en faire des graphiques avec un lien vers cette page. Citation suggérée : Mentioned, « robots.txt Mistakes and New Directives in 4,762 Top Sites », 28 octobre 2026, https://mentioned.at/learn/robots-txt-errors. Données et texte publiés sous licence CC BY 4.0.

Questions

Lancer un check gratuit