¿Qué sitios bloquean los crawlers de IA? Leímos 4,762 archivos robots.txt

Hallazgos clave

• Los crawlers de entrenamiento se bloquean unas dos veces más que los crawlers de búsqueda con IA. El 14.8% de los archivos robots.txt bloquea GPTBot y el 13.4% bloquea ClaudeBot, frente al 6.0% de OAI-SearchBot y el 5.4% de Claude-SearchBot.
• La mayoría de los sitios que se excluyen del entrenamiento siguen en la búsqueda con IA. De los 705 sitios que bloquean GPTBot, 421 (60%) siguen dejando entrar a OAI-SearchBot. De los 640 que bloquean ClaudeBot, 385 (60%) siguen permitiendo Claude-SearchBot.
• El 4.5% de los sitios bloquea los tres crawlers de búsqueda con IA (OAI-SearchBot, Claude-SearchBot y PerplexityBot), lo que deja fuera a los crawlers que la búsqueda de ChatGPT, Claude y Perplexity usan para encontrar páginas que citar. El 9.3% bloquea al menos uno.
• Muchos bloqueos de búsqueda parecen accidentales. 100 de los 284 sitios que bloquean OAI-SearchBot (35%) nunca lo nombran: lo hace una regla general User-agent: *. 56 sitios bloquean todos los crawlers por defecto y ponen a Googlebot en una lista de permitidos.
• El 79.7% no bloquea ninguno de los 19 crawlers de IA que revisamos, y 113 los bloquean todos.
• Los sitios más grandes bloquean más. En el top 1,000, el 16.6% bloquea GPTBot y el 8.2% bloquea OAI-SearchBot, frente al 14.6% y el 5.7% más abajo en la lista.

Excluirse del entrenamiento rara vez toca la búsqueda

Todas las grandes empresas de IA usan ya crawlers distintos para tareas distintas, y cada una lo dice en su documentación. OpenAI dice que “cada ajuste es independiente de los demás”: GPTBot recoge datos de entrenamiento, OAI-SearchBot decide qué puede aparecer en la búsqueda de ChatGPT. Anthropic separa igual entre ClaudeBot y Claude-SearchBot (Claude Help Center), y Google-Extended controla el entrenamiento y el grounding de Gemini sin afectar a la Búsqueda de Google (Google Search Central).

Los dueños de sitios han captado la idea. Entre los sitios que bloquean el crawler de entrenamiento de una empresa, la mayoría mantiene su crawler de búsqueda:

Lo contrario casi nunca pasa: 0 sitios bloquean OAI-SearchBot mientras permiten GPTBot, y 1 hace lo mismo con Anthropic.

Una exclusión sí llega a las respuestas. Google-Extended cubre el grounding en Gemini además del entrenamiento, así que los 579 sitios (12.2%) que lo bloquean han pedido a Google que no use sus páginas para fundamentar las respuestas de Gemini, aunque siguen en la Búsqueda de Google.

El problema de la regla general

Una regla para User-agent: * se aplica a todos los crawlers que el archivo no nombra. Un sitio que escribe Disallow: / bajo * y luego permite Googlebot y Bingbot por su nombre ha bloqueado, quizá sin querer, también todos los crawlers de búsqueda con IA. Encontramos 126 sitios con un bloqueo general; 56 de ellos ponen a Googlebot en lista de permitidos, y 38 de esos dejan fuera a OAI-SearchBot. Solo 18 sitios con bloqueo general nombran a OAI-SearchBot como excepción.

Así es como 100 de los 284 bloqueos de OAI-SearchBot y 108 de los 256 de Claude-SearchBot ocurren sin que el bot se nombre nunca. Si querías dejar entrar a la búsqueda con IA, una lista de permitidos escrita antes de que existieran esos crawlers es el primer sitio donde mirar.

Quién bloquea la búsqueda con IA

Entre los 200 sitios mejor clasificados que pudimos leer, estos bloquean desde su página de inicio al menos uno de OAI-SearchBot, Claude-SearchBot y PerplexityBot:

Las redes sociales y los grandes medios dominan la lista. La mayoría son sitios con negocios de licencias o acuerdos de contenido que proteger, no marcas que quieren que los compradores las encuentren.

La tabla completa

Porcentaje de los 4,762 sitios con un robots.txt legible que bloquean cada crawler desde su página de inicio, en total y por posición en Tranco.

Qué hacer con tu propio robots.txt

1. Decide el entrenamiento y la búsqueda por separado. Bloquear GPTBot o ClaudeBot no te saca de las respuestas de ChatGPT o Claude; bloquear OAI-SearchBot, Claude-SearchBot o PerplexityBot sí.
2. Lee tu grupo User-agent: *. Si prohíbe /, todos los crawlers de IA que no hayas nombrado están bloqueados.
3. Revisa el archivo en vivo, no el de tu repositorio. 199 sitios de nuestra muestra responden a /robots.txt con una página HTML, que los crawlers leen como si no hubiera reglas.
4. Pruébalo. El AI crawler checker ejecuta sobre tu sitio el mismo parser que usamos aquí, y Crawlers de IA y robots.txt tiene un archivo de ejemplo que deja entrar a los crawlers de respuestas y deja fuera a los de entrenamiento.

Método y límites

Tomamos los 10,000 primeros dominios de la lista Tranco GQ3LK (un ranking de investigación que combina datos de Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic y Farsight del 28 de septiembre al 27 de octubre de 2026). El 28 de octubre de 2026 nuestro crawler pidió la página de inicio de cada dominio por HTTPS, siguiendo redirecciones. Muchas entradas de Tranco son dominios de CDN, API o seguimiento sin sitio web: 2,155 no dieron ninguna respuesta HTTP y 1,415 respondieron 403. Nos quedamos con los 5,480 dominios cuya página de inicio devolvió una página HTML con estado 200, contados una vez por hostname final tras las redirecciones. De ellos, 4,762 servían un robots.txt que pudimos analizar; 405 no tenían (una respuesta 4xx, que significa sin reglas), 199 devolvieron una página HTML y 114 fallaron o respondieron 5xx.

Cada robots.txt se leyó con el parser RFC 9309 que hay detrás de nuestro AI crawler checker: un crawler obedece los grupos que nombran su token de producto, recurre a * solo cuando ninguno lo hace, y gana la regla coincidente más larga. “Bloqueado” significa que el archivo prohíbe a ese crawler la ruta de la página de inicio /, que es como se ve una exclusión total. Un sitio que bloquea solo algunas secciones cuenta como permitido. Los porcentajes son sobre sitios con un robots.txt legible; sobre los 5,480 sitios web serían algo menores. La lista de crawlers y sus funciones vienen de la documentación de cada operador, enlazada desde el checker; Bytespider, Amazonbot y el token retirado anthropic-ai se incluyen porque muchos archivos todavía los nombran.

Nuestro crawler se identificó como Mentioned-Research/1.0. Los sitios que rechazan bots desconocidos en el firewall no están en la muestra, y probablemente también son más estrictos con los crawlers de IA, así que toma cada tasa de bloqueo de esta página como un mínimo, no como una estimación de toda la web. robots.txt expresa una preferencia; no muestra si un crawler la obedece, y algunos sitios pueden servir un archivo distinto a los crawlers que nombran. Es una foto de un solo día.

Cita esto

Puedes citar y graficar estas cifras con un enlace de vuelta. Cita sugerida: Mentioned, “Which Sites Block AI Crawlers? We Read 4,762 robots.txt Files,” 28 de octubre de 2026, https://mentioned.at/learn/ai-crawler-blocking-study. Los datos y el texto se publican bajo CC BY 4.0.

Preguntas

Haz una comprobación gratis