Chaque entreprise d’IA exploite plusieurs crawlers, qui n’ont pas le même rôle. Voici ce que fait chacun, ce que change vraiment son blocage, et un robots.txt à copier.
La réponse courte. Si vous voulez que les assistants IA vous recommandent, autorisez leurs crawlers de recherche : OAI-SearchBot pour ChatGPT, Claude-SearchBot pour Claude, PerplexityBot pour Perplexity, et Googlebot et Bingbot pour les moteurs de recherche sur lesquels s’appuient les assistants. Autoriser ou non les crawlers d’entraînement, comme GPTBot et ClaudeBot, est un choix distinct qui concerne les futurs modèles. Il ne décide pas si vous pouvez être cité aujourd’hui.
D’après la documentation des opérateurs eux-mêmes, les crawlers se répartissent en trois groupes.
Ils indexent les pages pour qu’un assistant puisse les trouver quand il fait une recherche pendant une conversation. OpenAI indique que les sites qui bloquent OAI-SearchBot n’apparaîtront pas dans les réponses de recherche de ChatGPT. Anthropic indique que désactiver Claude-SearchBot peut réduire votre visibilité dans les résultats de recherche de Claude. Perplexity indique que PerplexityBot fait apparaître et cite les sites dans ses réponses et n’est pas utilisé pour l’entraînement. meta-webindexer, de Meta, remplit le même rôle pour Meta AI.
Google et Microsoft n’exploitent pas de crawlers distincts pour cela. Google indique que AI Overviews et AI Mode utilisent les mêmes contrôles que la Recherche, donc Googlebot est celui qui compte ici.
ChatGPT-User, Claude-User, Perplexity-User et MistralAI-User ouvrent une page parce que quelqu’un, dans une conversation, l’a demandée ou a collé le lien. OpenAI indique que les règles robots.txt peuvent ne pas s’appliquer à ChatGPT-User, et Perplexity indique que Perplexity-User les ignore en général, puisqu’une personne a demandé la page. Anthropic indique que ses crawlers, Claude-User compris, respectent robots.txt.
GPTBot, ClaudeBot, meta-externalagent et CCBot de Common Crawl collectent des pages susceptibles de servir à entraîner des modèles. Deux entrées ici ne sont pas des crawlers du tout. Google-Extended contrôle si Gemini peut utiliser des pages déjà récupérées par Googlebot, pour l’entraînement et pour l’ancrage, et Google indique qu’il n’a aucun effet sur la Recherche. Applebot-Extended contrôle si Apple peut entraîner ses modèles sur ce qu’Applebot a récupéré.
| Si vous bloquez | Ce qui change |
|---|---|
OAI-SearchBot | Vos pages ne peuvent pas apparaître dans les réponses de recherche de ChatGPT |
Claude-SearchBot | La recherche de Claude ne peut pas indexer vos pages |
PerplexityBot | Perplexity ne peut pas faire apparaître ni citer vos pages |
Googlebot | Vous quittez la Recherche Google, AI Overviews et AI Mode compris |
GPTBot, ClaudeBot | Votre contenu est exclu de l’entraînement futur. Les réponses de recherche en direct ne sont pas touchées |
Google-Extended | Gemini ne peut ni s’entraîner sur vos pages ni y ancrer ses réponses. La Recherche Google n’est pas touchée |
CCBot | Les nouvelles pages restent hors de Common Crawl, sur lequel beaucoup de modèles sont entraînés |
D’après la documentation de chaque opérateur, consultée le 24 octobre 2026 : OpenAI, Anthropic, Perplexity, Google, Meta, Apple, Common Crawl.
Ce fichier autorise tous les crawlers de recherche et de réponse, garde vos chemins privés privés, et rend la décision sur l’entraînement explicite. Supprimez le dernier groupe si cela ne vous gêne pas que vos pages publiques servent à l’entraînement.
# Everyone: crawl the public site, not the app
User-agent: *
Disallow: /app/
Disallow: /admin/
# AI search and answer crawlers: same rules, named so nobody
# "tidies" them into a block later
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: meta-webindexer
Disallow: /app/
Disallow: /admin/
# Training: opt out (optional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
Disallow: /
Sitemap: https://www.example.com/sitemap.xmlUne règle piège beaucoup de monde : un crawler ne suit que le groupe qui le nomme. Si vous donnez à OAI-SearchBot son propre groupe, il ignore tout ce qui se trouve sous User-agent: *, donc les chemins privés doivent être répétés, comme ci-dessus.
User-agent: * / Disallow: / bloque tous les crawlers conformes, y compris ceux de recherche.Le vérificateur de crawlers IA lit votre robots.txt comme la RFC dit qu’un crawler doit le faire et affiche le verdict pour 18 crawlers, avec la ligne qui a tranché pour chacun.
Laisser entrer les crawlers de recherche vous rend éligible à la citation. Cela ne pousse pas un assistant à vous choisir quand un acheteur demande une présélection. Cela dépend de ce que le modèle sait déjà de votre catégorie, des sources auxquelles il fait confiance, et de la capacité de vos pages à répondre à la question posée. L’étape suivante est de savoir ce que ChatGPT, Claude et Gemini disent aujourd’hui. Consultez le guide pour être mentionné pour voir ce qui fait bouger les choses.
En général pas les crawlers de recherche. OAI-SearchBot, Claude-SearchBot et PerplexityBot décident si ces assistants peuvent trouver et citer vos pages quand ils font une recherche. Bloquer les crawlers d’entraînement comme GPTBot et ClaudeBot est une décision distincte, qui porte sur l’utilisation de votre contenu pour entraîner les futurs modèles, et elle ne vous retire pas des réponses en direct.
Non. Google indique que Google-Extended n’affecte pas la Recherche Google, et AI Overviews et AI Mode font partie de la Recherche. Ils suivent les règles robots.txt de Googlebot ainsi que les contrôles noindex et nosnippet.
Cela dépend de l’opérateur. Meta indique que ses crawlers peuvent mettre robots.txt en cache jusqu’à 24 heures, Amazon environ 24 heures, et DuckDuckGo 72 heures pour DuckAssistBot. Prévoyez quelques jours.
Pour les crawlers qui le respectent, oui. C’est une demande, pas un verrou : certains fetchers déclenchés par l’utilisateur disent pouvoir ne pas le suivre, et rien de ce qui ignore le standard n’est arrêté par lui. Les règles de pare-feu et de CDN sont l’outil pour imposer le blocage.
Lancer une vérification gratuite Vérifier votre robots.txt →