Voyez si votre robots.txt laisse ChatGPT, Claude, Perplexity, Gemini et d’autres crawlers IA lire une page. Vous obtenez un verdict par crawler et la ligne exacte qui a tranché.
L’outil récupère le robots.txt de l’hôte saisi et le lit comme le demande la RFC 9309 à un crawler. Un crawler suit le groupe qui le nomme, et ne se rabat sur User-agent: * que si aucun groupe ne le nomme. Dans ce groupe, la règle la plus longue qui correspond l’emporte. Un fichier absent signifie que toutes les pages sont autorisées. Un fichier en erreur signifie que toutes les pages sont bloquées.
Il ne vérifie ni les pare-feu, ni les réglages de bots du CDN, ni les balises noindex. Pour les signaux au niveau de la page, utilisez le vérificateur de données structurées.
La plupart des entreprises d’IA font tourner plus d’un crawler, et ils ont des rôles différents. En bloquer un ne bloque pas les autres.
Pour un site B2B, la question n’est généralement pas « devons-nous bloquer l’IA ? » mais « bloquons-nous par accident les bots qui décident si nous sommes cités ? ». Un User-agent: * / Disallow: / général resté d’un site de préproduction fait exactement cela. Notre guide sur les crawlers IA et le robots.txt détaille les choix.
| Jeton | Opérateur | Ce qu’il fait |
|---|---|---|
OAI-SearchBot | OpenAI | Recherche ChatGPT. Docs |
ChatGPT-User | OpenAI | Récupère pour un utilisateur de ChatGPT ; le robots.txt peut ne pas s’appliquer |
GPTBot | OpenAI | Entraînement de modèles |
Claude-SearchBot | Anthropic | Résultats de recherche de Claude. Docs |
Claude-User | Anthropic | Récupère pour un utilisateur de Claude |
ClaudeBot | Anthropic | Entraînement de modèles |
PerplexityBot | Perplexity | Réponses de Perplexity ; pas d’entraînement. Docs |
Perplexity-User | Perplexity | Récupère pour un utilisateur ; ignore généralement le robots.txt |
Googlebot | Recherche, y compris AI Overviews et AI Mode. Docs | |
Google-Extended | Jeton : entraînement et ancrage de Gemini ; pas la Recherche. Docs | |
Bingbot | Microsoft | Recherche Bing. Docs |
meta-webindexer | Meta | Résultats de recherche de Meta AI. Docs |
meta-externalagent | Meta | Entraînement de modèles et indexation |
Applebot-Extended | Apple | Jeton : entraînement des modèles d’Apple. Docs |
Amzn-SearchBot | Amazon | Recherche dans les produits Amazon comme Alexa. Docs |
DuckAssistBot | DuckDuckGo | Réponses assistées par IA de DuckDuckGo. Docs |
MistralAI-User | Mistral | Récupère pour un utilisateur de Mistral. Docs |
CCBot | Common Crawl | Archive ouverte du web sur laquelle de nombreux modèles s’entraînent. Docs |
Les finalités proviennent de la documentation de chaque opérateur, lue le 24 octobre 2026. Les opérateurs ajoutent et renomment des crawlers : consultez leurs pages avant de modifier un robots.txt de production.
Pas de la recherche ChatGPT. OpenAI documente GPTBot comme le crawler d’entraînement des modèles et OAI-SearchBot comme celui qui décide si un site peut apparaître dans les réponses de la recherche ChatGPT. Bloquer GPTBot et autoriser OAI-SearchBot est une configuration courante : hors de l’entraînement, mais toujours éligible à la citation.
Non. Google indique que Google-Extended détermine si Gemini peut s’entraîner sur votre contenu ou s’en servir pour ancrer ses réponses, et qu’il n’affecte pas la Recherche Google. Les AI Overviews et AI Mode font partie de la Recherche et suivent les mêmes contrôles : Googlebot dans le robots.txt, plus noindex et nosnippet sur la page.
Les opérateurs des crawlers de recherche et d’entraînement listés ici disent que les leurs le respectent. Les outils de récupération qui agissent pour un utilisateur sont différents : OpenAI indique que les règles du robots.txt peuvent ne pas s’appliquer à ChatGPT-User, et Perplexity indique que Perplexity-User les ignore généralement, puisqu’une personne a demandé cette page.
Être explorable n’est que la première étape. Qu’un assistant vous recommande dépend de ce qu’il a lu sur votre catégorie, des sites auxquels il fait confiance et de la fréquence à laquelle vous apparaissez à côté des questions que posent les acheteurs. Lancez une vérification gratuite pour voir où vous en êtes.
Généralement parce que le robots.txt ne s’est pas chargé. La RFC 9309 dit qu’un crawler qui reçoit une erreur serveur, ou aucune réponse, doit considérer tout le site comme interdit tant qu’il ne peut pas lire le fichier. Vérifiez que /robots.txt renvoie un 200 en texte brut.
Non. L’outil lit le robots.txt, que les crawlers sont censés suivre. Une règle de pare-feu, de CDN ou de protection anti-bots peut bloquer un crawler quel que soit le robots.txt. Si le vérificateur voit un 403 sur le robots.txt lui-même, il l’indique, car cela signifie souvent que les bots sont refusés avant de rien lire.
Un crawler qui peut lire vos pages est nécessaire, pas suffisant. La question que votre équipe reçoit est de savoir si ChatGPT, Claude et Gemini vous recommandent quand un acheteur demande une présélection, et qui ils nomment à votre place. C’est ce que mesure Mentioned : les mêmes questions d’acheteur chaque semaine, les réponses complètes et une liste classée de ce qu’il faut corriger.