Cómo probar si un cambio de GEO funcionó

Hallazgos clave

Una sola revisión de antes y después es sobre todo ruido: las respuestas de IA varían de una ejecución a otra, y los modelos cambian por debajo.
Usa preguntas objetivo que el cambio debería afectar y preguntas de control que no debería afectar, y compara cómo se movió cada grupo.
Para detectar una mejora de 10 puntos desde una línea base de 30% necesitas unas 356 respuestas antes y 356 después; una mejora de 20 puntos necesita unas 93 de cada una.
Planea la prueba antes de hacer el cambio: anota las preguntas, los modelos, el tamaño de muestra y qué resultado contaría como victoria.

Por qué el antes y después engaña

Tres cosas mueven una cifra de visibilidad en IA además de tu trabajo:

Ruido de muestreo. La misma pregunta puede nombrarte en una respuesta y no en la siguiente. Una muestra pequeña oscila decenas de puntos por sí sola — mira las tablas de margen de error.
Cambios de modelo. Los proveedores actualizan modelos y recuperación sin avisar. Un salto la semana después de tu lanzamiento puede ser de ellos, no tuyo.
El mercado. La noticia de financiación de un competidor o una reseña viral mueve las respuestas de tu categoría hagas lo que hagas.

Una buena prueba separa tu efecto de los tres.

El diseño: preguntas objetivo y de control

Elige preguntas objetivo que tu cambio plausiblemente deba afectar. Si publicaste una página que te compara con un rival, los objetivos son las preguntas donde los compradores comparan a los dos.
Elige preguntas de control de la misma categoría que el cambio no debería afectar — otros casos de uso, otros segmentos de compradores.
Congela ambos conjuntos antes del cambio. Reformular una pregunta a mitad de la prueba cambia lo que estás midiendo.
Mide antes: haz cada pregunta muchas veces en cada modelo que te importe, durante una o dos semanas.
Haz el cambio y espera lo suficiente para que lo rastreen e indexen. Las respuestas que usan búsqueda web en vivo pueden reaccionar en días; todo lo que depende del entrenamiento del modelo tarda mucho más.
Mide después con las mismas preguntas, modelos y tamaño de muestra.
Compara los cambios: el efecto es (objetivo después − objetivo antes) − (control después − control antes). Una actualización de modelo que sube todo sube también los controles, y se cancela.

Es un diseño de diferencia en diferencias, la misma lógica que usan los economistas cuando no pueden hacer un experimento limpio. No prueba causalidad, pero descarta las falsas victorias más comunes.

Cuántas respuestas necesitas

Respuestas necesarias en cada periodo (antes y después) para detectar una mejora del tamaño indicado, según la visibilidad de partida. 80% de potencia, 5% de significancia bilateral, prueba de dos proporciones.

Visibilidad de partida	+5 pts	+10 pts	+15 pts	+20 pts
5%	435	141	76	49
10%	686	199	100	62
20%	1,094	294	138	82
30%	1,377	356	163	93
50%	1,565	388	170	93

Dos cosas destacan. Las mejoras pequeñas son caras de demostrar — una ganancia de 5 puntos necesita bastante más de mil respuestas por periodo con líneas base típicas. Y las marcas que parten cerca de cero pueden detectar una mejora con menos respuestas, porque pasar de 5% a 15% es un movimiento relativo grande.

La tabla supone respuestas independientes. Las respuestas repetidas a la misma pregunta están correlacionadas, así que reparte la muestra entre tantas preguntas objetivo distintas como puedas, y toma estas cifras como mínimos.

Un plan resuelto

Decisión	Ejemplo
Cambio	Publicar una página comparativa contra tu mayor rival y lograr que te incluyan en dos sitios de reseñas
Preguntas objetivo	10 preguntas que hacen los compradores al elegir entre tú y ese rival
Preguntas de control	10 preguntas sobre un caso de uso sin relación de la misma categoría
Modelos	ChatGPT y Gemini, reportados por separado
Muestra	Cada pregunta se hace 20 veces por modelo por periodo: 200 respuestas objetivo por modelo por periodo
Condición de victoria	El objetivo sube al menos 10 puntos más que el control en cualquiera de los dos modelos
Calendario	Dos semanas antes; cambio; esperar dos semanas; dos semanas después

Con 200 respuestas por periodo, este plan puede detectar de forma fiable una mejora de unos 13–14 puntos alrededor de una línea base de 30%. Si esperas menos, pregunta más veces o espera un periodo posterior más largo.

Errores comunes

Elegir las preguntas después de ver los resultados. Decide primero el conjunto objetivo, o encontrarás las preguntas que casualmente se movieron.
Promediar entre modelos. Una mejora real en un modelo puede desaparecer en el promedio. Reporta cada modelo y decide de antemano cuál cuenta.
Parar antes de tiempo. Revisar todos los días y parar en el primer buen día infla las falsas victorias. Fija la fecha de fin desde el principio.
Llamar fracaso a un resultado nulo. “Ningún cambio detectable con este tamaño de muestra” no es “ningún efecto”. Di qué mejora podría haber detectado la prueba.

Para las métricas en sí, mira cómo calcular el share of voice en IA. Mentioned mantiene congeladas las preguntas de cada palabra clave rastreada y vuelve a hacer cada una tres veces por ejecución, así que la serie de antes y después existe sin configuración extra.

Cita esto

Puedes citar y graficar estas cifras con un enlace de vuelta. Cita sugerida: Mentioned, “Cómo probar si un cambio de GEO realmente funcionó”, 25 de octubre de 2026, https://mentioned.at/learn/how-to-test-geo-changes. Los datos y el texto se publican bajo CC BY 4.0.

Haz una comprobación gratis