Como testar se uma mudança de GEO funcionou

Principais conclusões

Uma única verificação de antes e depois é, em grande parte, ruído: as respostas de IA variam de uma execução para outra, e os modelos mudam por baixo de você.
Use perguntas-alvo que a mudança deve afetar e perguntas de controle que ela não deve afetar, e compare como cada grupo se moveu.
Para detectar um ganho de 10 pontos a partir de uma base de 30%, você precisa de cerca de 356 respostas antes e 356 depois; um ganho de 20 pontos precisa de cerca de 93 em cada.
Planeje o teste antes de fazer a mudança: anote as perguntas, os modelos, o tamanho da amostra e qual resultado contaria como vitória.

Por que o antes e depois engana

Três coisas movem um número de visibilidade em IA além do seu trabalho:

Ruído de amostragem. A mesma pergunta pode citar você numa resposta e não na seguinte. Uma amostra pequena oscila dezenas de pontos sozinha — veja as tabelas de margem de erro.
Mudanças nos modelos. Os provedores atualizam modelos e recuperação sem aviso. Um salto na semana seguinte ao seu lançamento pode ser deles, não seu.
O mercado. Uma notícia de investimento de um concorrente ou uma avaliação viral movem as respostas da sua categoria, não importa o que você faça.

Um bom teste separa o seu efeito de todos os três.

O desenho: perguntas-alvo e de controle

Escolha perguntas-alvo que a sua mudança plausivelmente deve afetar. Se você publicou uma página comparando você com um rival, os alvos são as perguntas em que os compradores comparam os dois.
Escolha perguntas de controle da mesma categoria que a mudança não deve afetar — outros casos de uso, outros segmentos de comprador.
Congele os dois conjuntos antes da mudança. Reformular uma pergunta no meio do teste muda o que você está medindo.
Meça antes: faça cada pergunta muitas vezes em cada modelo que importa para você, ao longo de uma ou duas semanas.
Faça a mudança e espere o suficiente para que ela seja rastreada e indexada. Respostas que usam busca ao vivo na web podem reagir em dias; qualquer coisa que dependa do treinamento do modelo leva muito mais tempo.
Meça depois com as mesmas perguntas, os mesmos modelos e o mesmo tamanho de amostra.
Compare as variações: o efeito é (alvo depois − alvo antes) − (controle depois − controle antes). Uma atualização de modelo que levanta tudo levanta também os controles, e se cancela.

É um desenho de diferença em diferenças, a mesma lógica que os economistas usam quando não conseguem rodar um experimento limpo. Ele não prova causalidade, mas descarta as falsas vitórias mais comuns.

De quantas respostas você precisa

Respostas necessárias em cada período (antes e depois) para detectar um ganho do tamanho indicado, por visibilidade inicial. Poder de 80%, significância bilateral de 5%, teste de duas proporções.

Visibilidade inicial	+5 pts	+10 pts	+15 pts	+20 pts
5%	435	141	76	49
10%	686	199	100	62
20%	1,094	294	138	82
30%	1,377	356	163	93
50%	1,565	388	170	93

Duas coisas se destacam. Ganhos pequenos são caros de provar — um ganho de 5 pontos exige bem mais de mil respostas por período em bases típicas. E marcas que começam perto de zero conseguem detectar um ganho com menos respostas, porque ir de 5% a 15% é uma variação relativa grande.

A tabela supõe respostas independentes. Respostas repetidas à mesma pergunta são correlacionadas, então distribua a amostra por quantas perguntas-alvo distintas você puder e trate esses números como mínimos.

Um plano prático

Decisão	Exemplo
Mudança	Publicar uma página de comparação com o seu maior rival e entrar em duas listas de sites de avaliação
Perguntas-alvo	10 perguntas que os compradores fazem ao escolher entre você e esse rival
Perguntas de controle	10 perguntas sobre um caso de uso não relacionado na mesma categoria
Modelos	ChatGPT e Gemini, reportados separadamente
Amostra	Cada pergunta feita 20 vezes por modelo por período: 200 respostas-alvo por modelo por período
Condição de vitória	O alvo sobe pelo menos 10 pontos a mais do que o controle em qualquer um dos modelos
Prazo	Duas semanas antes; mudança; esperar duas semanas; duas semanas depois

Com 200 respostas por período, este plano consegue detectar com segurança um ganho de cerca de 13–14 pontos em torno de uma base de 30%. Se você espera menos, pergunte mais vezes ou espere um período de depois mais longo.

Erros comuns

Escolher as perguntas depois de ver os resultados. Decida o conjunto-alvo primeiro, ou você vai encontrar as perguntas que por acaso se mexeram.
Tirar a média entre modelos. Um ganho real num modelo pode sumir na média. Reporte cada modelo e decida de antemão qual vale.
Parar cedo. Olhar todo dia e parar no primeiro dia bom infla as falsas vitórias. Fixe a data final de antemão.
Chamar um resultado nulo de fracasso. “Nenhuma mudança detectável neste tamanho de amostra” não é “nenhum efeito”. Diga qual ganho o teste poderia ter detectado.

Para as métricas em si, veja como calcular o share of voice em IA. A Mentioned mantém congeladas as perguntas de cada palavra-chave acompanhada e refaz cada uma três vezes por execução, então a série de antes e depois já existe, sem configuração extra.

Cite este conteúdo

Você pode citar e usar esses números em gráficos, com um link de volta. Citação sugerida: Mentioned, “Como testar se uma mudança de GEO realmente funcionou,” 25 de outubro de 2026, https://mentioned.at/learn/how-to-test-geo-changes. Os dados e o texto são publicados sob CC BY 4.0.

Faça uma verificação grátis