Una línea de robots.txt que un crawler no entiende se salta sin avisar. Analizamos el robots.txt de 4,762 sitios web populares para contar las líneas que no hacen nada y las nuevas directivas de IA que los sitios han empezado a añadir.
User-agent.ai-train=no; 223 dicen search=yes.Noindex, una línea que el parser de Google ignora./robots.txt con una página HTML y 6 tienen HTML pegado dentro del propio archivo.La RFC 9309, el estándar de robots.txt, define user-agent, allow y disallow. Google añade sitemap y dice que “otros campos como crawl-delay no son compatibles” y que su parser ignora las reglas distintas de esas (Google Search Central). Nuestro parser sigue la RFC y además acepta las muy usadas crawl-delay, host y clean-param. Dejando aparte Content-Signal, esto es lo que se saltó:
| Problema | Archivos | Porcentaje | Qué hace un crawler |
|---|---|---|---|
| Directiva desconocida | 108 | 2.3% | Se salta la línea |
Ruta que no empieza por / | 44 | 0.9% | Puede ignorar la regla |
| Línea sin dos puntos | 27 | 0.6% | Se salta la línea |
Regla antes de cualquier User-agent | 6 | 0.1% | La regla no pertenece a ningún grupo, así que nadie la obedece |
Las directivas desconocidas son un registro de ideas que nunca llegaron a estándar. Además de Content-Signal, las más comunes fueron Noindex (24 archivos), invenciones relacionadas con la IA como LLMs, LLM-policy y Agentmap (10, 8 y 8 archivos), y las antiguas Request-rate y Visit-time. Una línea que apunte a tu llms.txt desde robots.txt no hace daño, pero ningún crawler que conozcamos la lee ahí.
Las líneas sin dos puntos solían ser otra cosa: en 6 archivos, HTML o CSS de una página web había acabado dentro de robots.txt.
Las Content Signals de Cloudflare añaden una línea a robots.txt que dice para qué se puede usar el contenido de un sitio: search (crear un índice de búsqueda y devolver enlaces y fragmentos cortos), ai-input (meter contenido en un modelo en el momento de responder, como en la recuperación o el grounding) y ai-train (entrenar o ajustar modelos). Cloudflare deja claro que son preferencias que los crawlers pueden ignorar. En nuestra muestra:
| Señal | En yes | En no | Sin indicar |
|---|---|---|---|
search | 223 | 0 | 1 |
ai-input | 107 | 10 | 107 |
ai-train | 62 | 161 | 1 |
El patrón coincide con lo que hacen los sitios con las reglas de crawlers: sí a la búsqueda, no al entrenamiento, y en las respuestas de IA la mayoría dice que sí o no dice nada. Solo 10 de 224 sitios se excluyen de ai-input, la señal que cubre que te citen en respuestas de IA. Nuestro parser trata la línea como desconocida, como cualquier crawler que no la haya adoptado; la dejamos fuera de los recuentos de errores de arriba.
Noindex y todo lo demás que Google indica como no compatible. Para dejar una página fuera de los resultados, usa una meta tag noindex en la página y deja que los crawlers la descarguen para que vean la etiqueta./, y pon cada regla bajo una línea User-agent.Tomamos los 10,000 primeros dominios de la lista Tranco GQ3LK (un ranking de investigación que combina datos de Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic y Farsight del 28 de septiembre al 27 de octubre de 2026). El 28 de octubre de 2026 nuestro crawler pidió la página de inicio de cada dominio por HTTPS, siguiendo redirecciones. Muchas entradas de Tranco son dominios de CDN, API o seguimiento sin sitio web: 2,155 no dieron ninguna respuesta HTTP y 1,415 respondieron 403. Nos quedamos con los 5,480 dominios cuya página de inicio devolvió una página HTML con estado 200, contados una vez por hostname final tras las redirecciones. 4,762 de ellos servían un robots.txt que pudimos analizar; su tamaño mediano era de 600 bytes.
Los archivos se analizaron con el parser RFC 9309 que hay detrás de nuestro AI crawler checker, que informa de cada línea que un crawler se saltaría. Los recuentos de directivas son el porcentaje de archivos que contienen cada campo al menos una vez, sin comentarios. Otros parsers son más permisivos en algunos puntos (el de Google acepta algunas faltas de ortografía, como el nuestro), así que una línea señalada es una que un lector estricto ignora, no la prueba de que todos los crawlers lo hagan. Nuestro crawler se identificó como Mentioned-Research/1.0. Los sitios que rechazan bots desconocidos en el firewall no están en la muestra, y probablemente también son más estrictos con los crawlers de IA, así que toma cada tasa de bloqueo de esta página como un mínimo, no como una estimación de toda la web.
Puedes citar y graficar estas cifras con un enlace de vuelta. Cita sugerida: Mentioned, “robots.txt Mistakes and New Directives in 4,762 Top Sites,” 28 de octubre de 2026, https://mentioned.at/learn/robots-txt-errors. Los datos y el texto se publican bajo CC BY 4.0.
No. La documentación de robots.txt de Google dice que los campos distintos de user-agent, allow, disallow y sitemap, como crawl-delay, no son compatibles. Anthropic dice que sus crawlers respetan Crawl-delay.
Una línea propuesta por Cloudflare que indica cómo se puede usar el contenido de un sitio: search, ai-input (uso en respuestas de IA) y ai-train. En nuestro rastreo de octubre de 2026, el 4.7% de los archivos robots.txt de los sitios top llevaba una.
No para Google, cuyo parser ignora las reglas distintas de allow, disallow y user-agent. Usa en la página una meta tag robots noindex o una cabecera X-Robots-Tag.