Quand un user agent inconnu apparaît dans les logs du serveur, on en cherche le nom. Nous avons relevé cette demande pour 16 crawlers IA — et constaté que les bots qui décident si vous êtes cité sont ceux que personne ne recherche.
| User agent | Opérateur · rôle | US / mois | Monde / mois |
|---|---|---|---|
GPTBot | OpenAI · entraînement | 350 | 1,900 |
Bytespider | ByteDance · crawler | 200 | 1,600 |
OAI-SearchBot | OpenAI · recherche | 200 | 1,100 |
CCBot | Common Crawl · corpus d’entraînement | 150 | 1,000 |
Meta-ExternalAgent | Meta · entraînement | 150 | 1,000 |
Amazonbot | Amazon | 150 | 800 |
PerplexityBot | Perplexity · recherche | 80 | 500 |
Google-Extended | Google · jeton d’entraînement/d’ancrage de Gemini | 80 | 450 |
Claude-SearchBot | Anthropic · recherche | 50 | 250 |
ChatGPT-User | OpenAI · requête déclenchée par l’utilisateur | 40 | 150 |
DuckAssistBot | DuckDuckGo · réponses | 30 | 150 |
Applebot-Extended | Apple · jeton d’entraînement | 30 | 100 |
anthropic-ai | Anthropic · jeton historique | 10 | 80 |
Claude-User | Anthropic · requête déclenchée par l’utilisateur | 10 | 20 |
Perplexity-User | Perplexity · requête déclenchée par l’utilisateur | 10 | 20 |
« claudebot » affiche 4 700 recherches aux États-Unis et 14 000 dans le monde par mois, ce qui en ferait de loin le crawler le plus recherché. Nous l’avons écarté du tableau, car Ahrefs le classe sous le sujet parent « claude » — une bonne partie de ces recherches vient presque certainement de personnes qui cherchent le chatbot Claude, pas le crawler d’Anthropic. Considérez ce chiffre comme une borne haute, pas comme un résultat.
Bloquer un crawler d’entraînement comme GPTBot garde vos pages hors de l’entraînement des futurs modèles ; cela ne vous retire pas des réponses de recherche en direct de ChatGPT. Les crawlers qui contrôlent vraiment la citation en direct — OAI-SearchBot, Claude-SearchBot, PerplexityBot — reçoivent une fraction de l’attention. Le risque : un propriétaire de site lit un article sur GPTBot, écrit un blocage large et coupe les crawlers de recherche au passage. Notre guide sur les crawlers IA et robots.txt indique ce que chaque opérateur dit que le blocage de son bot change, avec des liens vers leur documentation, et notre vérificateur de crawlers IA gratuit montre lesquels votre robots.txt autorise actuellement.
Les recherches sur le blocage sont faibles : « block ai crawlers » attire environ 70 recherches par mois aux États-Unis et « block gptbot » environ 40. La plupart de ceux qui cherchent le nom d’un bot semblent vouloir savoir ce que c’est avant de décider.
Les volumes de recherche sont des estimations d’Ahrefs Keywords Explorer des recherches mensuelles moyennes, relevées le 25 octobre 2026 via notre connecteur SiteWide. Ce sont des estimations modélisées, pas les chiffres de Google, et Ahrefs les arrondit. KD est la difficulté de mot-clé d’Ahrefs (0–100). CPC est l’estimation d’Ahrefs de ce que les annonceurs paient par clic aux États-Unis. Les libellés de rôle résument ce que chaque opérateur documente ; voir le guide lié pour les sources. L’intérêt de recherche mesure la curiosité, pas le volume de crawl ni le trafic — un bot peut crawler intensément et être rarement recherché.
Vous pouvez citer et représenter ces chiffres avec un lien en retour. Citation suggérée : Mentioned, « Which AI Crawlers Do Site Owners Look Up? Search Data for 16 Bots », 25 octobre 2026, https://mentioned.at/learn/ai-crawler-search-demand. Les données et le texte sont publiés sous CC BY 4.0.