Cuando aparece un user agent raro en los logs del servidor, la gente busca su nombre. Sacamos esa demanda para 16 crawlers de IA — y vimos que los bots que deciden si te citan son los que nadie busca.
| User agent | Operador · función | EE. UU. / mes | Mundial / mes |
|---|---|---|---|
GPTBot | OpenAI · entrenamiento | 350 | 1,900 |
Bytespider | ByteDance · crawler | 200 | 1,600 |
OAI-SearchBot | OpenAI · búsqueda | 200 | 1,100 |
CCBot | Common Crawl · corpus de entrenamiento | 150 | 1,000 |
Meta-ExternalAgent | Meta · entrenamiento | 150 | 1,000 |
Amazonbot | Amazon | 150 | 800 |
PerplexityBot | Perplexity · búsqueda | 80 | 500 |
Google-Extended | Google · token de entrenamiento/grounding de Gemini | 80 | 450 |
Claude-SearchBot | Anthropic · búsqueda | 50 | 250 |
ChatGPT-User | OpenAI · fetch activado por el usuario | 40 | 150 |
DuckAssistBot | DuckDuckGo · respuestas | 30 | 150 |
Applebot-Extended | Apple · token de entrenamiento | 30 | 100 |
anthropic-ai | Anthropic · token heredado | 10 | 80 |
Claude-User | Anthropic · fetch activado por el usuario | 10 | 20 |
Perplexity-User | Perplexity · fetch activado por el usuario | 10 | 20 |
“claudebot” registra 4,700 búsquedas mensuales en EE. UU. y 14,000 en todo el mundo, lo que lo haría el crawler más buscado por mucho. Lo dejamos fuera de la tabla porque Ahrefs lo clasifica bajo el tema principal “claude” — buena parte de esas búsquedas son casi seguro de gente que busca el chatbot Claude, no el crawler de Anthropic. Toma esa cifra como un tope, no como un hallazgo.
Bloquear un crawler de entrenamiento como GPTBot mantiene tus páginas fuera del entrenamiento de futuros modelos; no te saca de las respuestas de búsqueda en vivo de ChatGPT. Los crawlers que sí controlan la cita en vivo — OAI-SearchBot, Claude-SearchBot, PerplexityBot — reciben una fracción de la atención. El riesgo es el dueño de un sitio que lee sobre GPTBot, escribe un bloqueo amplio y apaga también los crawlers de búsqueda. Nuestra guía de crawlers de IA y robots.txt explica qué dice cada operador que cambia al bloquear su bot, con enlaces a su documentación, y nuestro verificador de crawlers de IA gratuito te muestra cuáles permite hoy tu robots.txt.
Las búsquedas sobre bloquear son pocas: “block ai crawlers” genera unas 70 búsquedas mensuales en EE. UU. y “block gptbot” unas 40. Casi todos los que buscan el nombre de un bot parecen querer saber qué es antes de decidir.
Los volúmenes de búsqueda son estimaciones de Ahrefs Keywords Explorer del promedio de búsquedas mensuales, obtenidas el 25 de octubre de 2026 a través de nuestro conector SiteWide. Son estimaciones modeladas, no los conteos de Google, y Ahrefs las redondea. KD es la dificultad de palabra clave de Ahrefs (0–100). CPC es la estimación de Ahrefs de lo que pagan los anunciantes por clic en EE. UU. Las etiquetas de función resumen lo que documenta cada operador; consulta la guía enlazada para ver las fuentes. El interés de búsqueda mide curiosidad, no volumen de rastreo ni tráfico — un bot puede rastrear mucho y buscarse poco.
Puedes citar y graficar estas cifras con un enlace de vuelta. Cita sugerida: Mentioned, “¿Qué crawlers de IA buscan los dueños de sitios? Datos de búsqueda de 16 bots”, 25 de octubre de 2026, https://mentioned.at/learn/ai-crawler-search-demand. Los datos y el texto se publican bajo CC BY 4.0.