Mira si tu robots.txt deja que ChatGPT, Claude, Perplexity, Gemini y otros crawlers de IA lean una página. Recibes un veredicto por cada crawler y la línea exacta que lo decidió.
Descarga robots.txt del host que escribes y lo lee como dice el RFC 9309 que debe hacerlo un crawler. Un crawler sigue el grupo que lo nombra, y solo recurre a User-agent: * cuando nada lo nombra. Dentro de ese grupo gana la regla coincidente más larga. Si falta el archivo, todas las páginas están permitidas. Si el archivo da error, todas las páginas están bloqueadas.
No revisa firewalls, ajustes de bots del CDN ni etiquetas noindex. Para las señales a nivel de página, usa el verificador de datos estructurados.
La mayoría de las empresas de IA usa más de un crawler, y cada uno hace un trabajo distinto. Bloquear uno no bloquea los demás.
En un sitio B2B, la pregunta habitual no es «¿deberíamos bloquear la IA?», sino «¿estamos bloqueando por accidente a los bots que deciden si nos citan?». Un User-agent: * / Disallow: / general, olvidado de un sitio de staging, hace justo eso. Nuestra guía sobre crawlers de IA y robots.txt repasa las opciones.
| Token | Operador | Qué hace |
|---|---|---|
OAI-SearchBot | OpenAI | Búsqueda de ChatGPT. Documentación |
ChatGPT-User | OpenAI | Consulta páginas para un usuario de ChatGPT; puede que robots.txt no se aplique |
GPTBot | OpenAI | Entrenamiento de modelos |
Claude-SearchBot | Anthropic | Resultados de búsqueda de Claude. Documentación |
Claude-User | Anthropic | Consulta páginas para un usuario de Claude |
ClaudeBot | Anthropic | Entrenamiento de modelos |
PerplexityBot | Perplexity | Respuestas de Perplexity; no es entrenamiento. Documentación |
Perplexity-User | Perplexity | Consulta páginas para un usuario; por lo general ignora robots.txt |
Googlebot | Búsqueda, incluidos AI Overviews y AI Mode. Documentación | |
Google-Extended | Token: entrenamiento y grounding de Gemini; no es Search. Documentación | |
Bingbot | Microsoft | Búsqueda de Bing. Documentación |
meta-webindexer | Meta | Resultados de búsqueda de Meta AI. Documentación |
meta-externalagent | Meta | Entrenamiento de modelos e indexación |
Applebot-Extended | Apple | Token: entrenamiento de modelos de Apple. Documentación |
Amzn-SearchBot | Amazon | Búsqueda en productos de Amazon como Alexa. Documentación |
DuckAssistBot | DuckDuckGo | Respuestas asistidas por IA de DuckDuckGo. Documentación |
MistralAI-User | Mistral | Consulta páginas para un usuario de Mistral. Documentación |
CCBot | Common Crawl | Archivo abierto de la web con el que se entrenan muchos modelos. Documentación |
Las finalidades salen de la documentación de cada operador, leída el 24 de octubre de 2026. Los operadores añaden y renombran crawlers, así que revisa sus páginas antes de cambiar un robots.txt en producción.
No de la búsqueda de ChatGPT. OpenAI documenta GPTBot como el crawler de entrenamiento de modelos y OAI-SearchBot como el que decide si un sitio puede aparecer en las respuestas de la búsqueda de ChatGPT. Bloquear GPTBot y permitir OAI-SearchBot es una configuración habitual: fuera del entrenamiento, pero aún elegible para ser citado.
No. Google dice que Google-Extended gobierna si Gemini puede entrenarse con tu contenido o usarlo para fundamentar respuestas, y que no afecta a Google Search. AI Overviews y AI Mode forman parte de Search y siguen los mismos controles: Googlebot en robots.txt, más noindex y nosnippet en la página.
Los operadores de los crawlers de búsqueda y de entrenamiento que aparecen aquí dicen que los suyos sí. Los que actúan en nombre de un usuario son distintos: OpenAI dice que las reglas de robots.txt pueden no aplicarse a ChatGPT-User, y Perplexity dice que Perplexity-User por lo general las ignora, porque una persona pidió esa página.
Que te puedan rastrear es solo el primer paso. Que un asistente te recomiende depende de lo que ha leído sobre tu categoría, de en qué sitios confía y de cuántas veces apareces junto a las preguntas que hacen los compradores. Haz un check gratis para ver dónde estás.
Normalmente porque robots.txt no cargó. El RFC 9309 dice que un crawler que recibe un error de servidor, o ninguna respuesta, debe asumir que todo el sitio está prohibido hasta que pueda leer el archivo. Comprueba que /robots.txt devuelve un 200 con texto plano.
No. Lee robots.txt, que es lo que se pide que sigan los crawlers. Una regla de firewall, CDN o protección anti-bots puede bloquear a un crawler sin importar robots.txt. Si el verificador ve un 403 en el propio robots.txt, lo dice, porque a menudo significa que se rechaza a los bots antes de que lean nada.
Que un crawler pueda leer tus páginas es necesario, no suficiente. La pregunta que le hacen a tu equipo es si ChatGPT, Claude y Gemini te recomiendan cuando un comprador pide una preselección, y a quién nombran en su lugar. Eso es lo que mide Mentioned: las mismas preguntas de comprador cada semana, las respuestas completas y una lista ordenada de qué corregir.