Faça a mesma pergunta duas vezes a um assistente de IA e você pode receber duas respostas diferentes. Isso faz de toda pontuação de visibilidade em IA uma estimativa — e a maioria se baseia em respostas demais poucas para sustentar as conclusões tiradas delas.
Os modelos de linguagem amostram sua saída. A mesma pergunta, feita do mesmo jeito, pode citar a sua marca numa resposta e deixá-la de fora na seguinte. Então “o ChatGPT recomenda a gente?” não tem resposta de sim ou não; tem uma taxa. Você estima essa taxa perguntando muitas vezes e contando — e, como toda estimativa feita a partir de uma amostra, ela vem com uma margem de erro.
Cada linha mostra uma marca observada em metade das respostas amostradas e o intervalo de confiança de 95% para a sua visibilidade real (intervalo de Wilson, que se comporta bem em amostras pequenas). A última coluna é a margem de ± clássica em 50%, para comparação.
| Respostas amostradas | Observado | Intervalo de 95% para a visibilidade real | Margem simples |
|---|---|---|---|
| 5 | 2 de 5 (40%) | 12%–77% | ±44 pts |
| 10 | 5 de 10 (50%) | 24%–76% | ±31 pts |
| 15 | 7 de 15 (47%) | 25%–70% | ±25 pts |
| 25 | 12 de 25 (48%) | 30%–67% | ±20 pts |
| 50 | 25 de 50 (50%) | 37%–63% | ±14 pts |
| 100 | 50 de 100 (50%) | 40%–60% | ±10 pts |
| 200 | 100 de 200 (50%) | 43%–57% | ±7 pts |
| 400 | 200 de 400 (50%) | 45%–55% | ±5 pts |
Cinco respostas é um tamanho comum para uma verificação rápida — inclusive a nossa verificação gratuita. Se a visibilidade real de uma marca é exatamente 50%, estas são as chances de cada pontuação:
| Pontuação | 0/5 | 1/5 | 2/5 | 3/5 | 4/5 | 5/5 |
|---|---|---|---|---|---|---|
| Probabilidade | 3.1% | 15.6% | 31.2% | 31.2% | 15.6% | 3.1% |
Uma verificação de cinco respostas é boa em uma coisa: dizer se você aparece de alguma forma. Se você tira 0/5, sua visibilidade real provavelmente é baixa (o limite superior de 95% é 43%). Ela não é boa para distinguir 40% de 60%, nem esta semana da anterior.
Comparar dois períodos é mais difícil do que medir um, porque as duas leituras são ruidosas. A tabela mostra a menor mudança que você conseguiria detectar com segurança (poder de 80%, significância de 5%, em torno de 50% de visibilidade) com o mesmo número de respostas em cada período.
| Respostas por período | Menor mudança detectável |
|---|---|
| 5 | 89 pts |
| 15 | 51 pts |
| 25 | 40 pts |
| 50 | 28 pts |
| 100 | 20 pts |
| 200 | 14 pts |
| 400 | 10 pts |
Assim, um dashboard que reporta “+8 pontos nesta semana” a partir de 25 respostas por semana está reportando, em grande parte, ruído. Linhas de tendência ao longo de muitas semanas, ou agrupadas entre muitas perguntas, são muito mais confiáveis do que qualquer variação semana a semana isolada.
A matemática acima supõe que cada resposta é um sorteio independente. Não são bem: respostas repetidas à mesma pergunta são correlacionadas, então 5 perguntas feitas 3 vezes cada trazem menos informação do que 15 perguntas diferentes. Distribua a sua amostra por muitas perguntas distintas de compradores em vez de repetir poucas, e trate os intervalos acima como o melhor caso.
Nossas palavras-chave acompanhadas fazem cada uma de cinco perguntas congeladas três vezes por execução exatamente por esse motivo, e nossa metodologia mostra a amostra por trás de cada número. Para as fórmulas das próprias métricas, veja como calcular o share of voice em IA.
Você pode citar e usar esses números em gráficos, com um link de volta. Citação sugerida: Mentioned, “Quantas respostas de IA você precisa para medir a visibilidade? A matemática da margem de erro,” 25 de outubro de 2026, https://mentioned.at/learn/ai-visibility-margin-of-error. Os dados e o texto são publicados sob CC BY 4.0.