Quels sites bloquent les crawlers IA ? Nous avons lu 4,762 fichiers robots.txt

Résultats clés

• Les crawlers d’entraînement sont bloqués environ deux fois plus souvent que les crawlers de recherche IA. 14.8 % des fichiers robots.txt bloquent GPTBot et 13.4 % ClaudeBot, contre 6.0 % pour OAI-SearchBot et 5.4 % pour Claude-SearchBot.
• La plupart des sites qui refusent l’entraînement restent dans la recherche IA. Sur les 705 sites qui bloquent GPTBot, 421 (60 %) laissent encore entrer OAI-SearchBot. Sur les 640 qui bloquent ClaudeBot, 385 (60 %) autorisent encore Claude-SearchBot.
• 4.5 % des sites bloquent les trois crawlers de recherche IA (OAI-SearchBot, Claude-SearchBot et PerplexityBot), ce qui exclut les crawlers que la recherche ChatGPT, Claude et Perplexity utilisent pour trouver des pages à citer. 9.3 % en bloquent au moins un.
• Beaucoup de blocages de recherche semblent accidentels. 100 des 284 sites qui bloquent OAI-SearchBot (35 %) ne le nomment jamais : c’est une règle générique User-agent: * qui le fait. 56 sites bloquent tous les crawlers par défaut et autorisent Googlebot.
• 79.7 % ne bloquent aucun des 19 crawlers IA que nous avons vérifiés, et 113 les bloquent tous.
• Les plus grands sites bloquent davantage. Dans le top 1,000, 16.6 % bloquent GPTBot et 8.2 % OAI-SearchBot, contre 14.6 % et 5.7 % plus bas dans la liste.

Refuser l’entraînement touche rarement la recherche

Chaque grande entreprise d’IA fait désormais tourner des crawlers distincts pour des tâches distinctes, et chacune le dit dans sa documentation. OpenAI indique que « each setting is independent of the others » : GPTBot collecte des données d’entraînement, OAI-SearchBot décide de ce qui peut apparaître dans la recherche ChatGPT. Anthropic sépare de la même manière ClaudeBot et Claude-SearchBot (Centre d’aide Claude), et Google-Extended contrôle l’entraînement et l’ancrage de Gemini sans affecter la recherche Google (Google Search Central).

Les propriétaires de sites ont compris le message. Parmi les sites qui bloquent le crawler d’entraînement d’une entreprise, la plupart gardent son crawler de recherche :

L’inverse n’arrive presque jamais : 0 site bloque OAI-SearchBot tout en autorisant GPTBot, et 1 fait de même pour Anthropic.

Un refus atteint bien les réponses. Google-Extended couvre l’ancrage dans Gemini en plus de l’entraînement, donc les 579 sites (12.2 %) qui le bloquent ont demandé à Google de ne pas utiliser leurs pages pour ancrer les réponses de Gemini, tout en restant dans la recherche Google.

Le problème de la règle générique

Une règle pour User-agent: * s’applique à tout crawler que le fichier ne nomme pas. Un site qui écrit Disallow: / sous * puis autorise Googlebot et Bingbot par leur nom a, peut-être sans le vouloir, bloqué aussi tous les crawlers de recherche IA. Nous avons trouvé 126 sites avec un blocage général ; 56 d’entre eux autorisent Googlebot, et 38 de ceux-là laissent OAI-SearchBot de côté. Seuls 18 sites à blocage général nomment OAI-SearchBot comme exception.

C’est ainsi que 100 des 284 blocages d’OAI-SearchBot et 108 des 256 blocages de Claude-SearchBot se produisent sans que le bot soit jamais nommé. Si vous vouliez laisser entrer la recherche IA, une liste d’autorisations écrite avant que ces crawlers existent est le premier endroit où regarder.

Qui bloque la recherche IA

Parmi les 200 sites les mieux classés que nous avons pu lire, ceux-ci bloquent au moins l’un d’OAI-SearchBot, Claude-SearchBot et PerplexityBot sur leur page d’accueil :

Les réseaux sociaux et les grands éditeurs dominent la liste. La plupart sont des sites qui ont des activités de licence ou des accords de contenu à protéger, pas des marques qui veulent que les acheteurs les trouvent.

Le tableau complet

Part des 4,762 sites dotés d’un robots.txt lisible qui interdisent chaque crawler sur leur page d’accueil, au total et par tranche de classement Tranco.

Que faire de votre propre robots.txt

1. Décidez séparément pour l’entraînement et la recherche. Bloquer GPTBot ou ClaudeBot ne vous retire pas des réponses de ChatGPT ou de Claude ; bloquer OAI-SearchBot, Claude-SearchBot ou PerplexityBot, si.
2. Lisez votre groupe User-agent: *. S’il interdit /, tout crawler IA que vous n’avez pas nommé est bloqué.
3. Vérifiez le fichier en ligne, pas celui de votre dépôt. 199 sites de notre échantillon répondent à /robots.txt par une page HTML, que les crawlers lisent comme une absence de règles.
4. Testez-le. Le vérificateur de crawlers IA applique à votre site le même parseur que celui utilisé ici, et Crawlers IA et robots.txt propose un fichier d’exemple qui laisse entrer les crawlers de réponse et tient à l’écart les crawlers d’entraînement.

Méthode et limites

Nous avons pris les 10,000 premiers domaines de la liste Tranco GQ3LK (un classement de recherche qui combine des données Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic et Farsight du 28 septembre au 27 octobre 2026). Le 28 octobre 2026, notre crawler a demandé la page d’accueil de chaque domaine en HTTPS, en suivant les redirections. Beaucoup d’entrées Tranco sont des domaines de CDN, d’API ou de tracking sans site web : 2,155 n’ont donné aucune réponse HTTP et 1,415 ont répondu 403. Nous avons gardé les 5,480 domaines dont la page d’accueil renvoyait une page HTML avec le statut 200, comptés une fois par nom d’hôte final après redirections. Parmi eux, 4,762 servaient un robots.txt que nous avons pu analyser ; 405 n’en avaient pas (une réponse 4xx, qui signifie aucune règle), 199 renvoyaient une page HTML et 114 ont échoué ou répondu 5xx.

Chaque robots.txt a été lu avec le parseur RFC 9309 de notre vérificateur de crawlers IA : un crawler suit les groupes qui nomment son product token, ne se rabat sur * que si aucun ne le fait, et la règle correspondante la plus longue l’emporte. « Bloqué » signifie que le fichier interdit ce crawler sur le chemin de la page d’accueil /, ce à quoi ressemble un refus complet. Un site qui ne bloque que certaines sections compte comme autorisé. Les parts portent sur les sites dotés d’un robots.txt lisible ; rapportées à l’ensemble des 5,480 sites, elles sont légèrement plus basses. La liste des crawlers et leurs rôles viennent de la documentation de chaque opérateur, liée depuis le vérificateur ; Bytespider, Amazonbot et le token retiré anthropic-ai sont inclus parce que beaucoup de fichiers les nomment encore.

Notre crawler s’est identifié comme Mentioned-Research/1.0. Les sites qui refusent les bots inconnus au pare-feu sont absents de l’échantillon, et ces sites sont probablement plus stricts avec les crawlers IA aussi, donc considérez chaque taux de blocage ici comme un plancher plutôt qu’une estimation pour tout le web. Le robots.txt exprime une préférence ; il ne montre pas si un crawler la respecte, et quelques sites peuvent servir un fichier différent aux crawlers qu’ils nomment. Ceci est un instantané d’une seule journée.

Citer cette page

Vous pouvez citer ces chiffres et en faire des graphiques avec un lien vers cette page. Citation suggérée : Mentioned, « Which Sites Block AI Crawlers? We Read 4,762 robots.txt Files », 28 octobre 2026, https://mentioned.at/learn/ai-crawler-blocking-study. Données et texte publiés sous licence CC BY 4.0.

Questions

Lancer un check gratuit