Posez deux fois la même question à un assistant IA et vous pouvez obtenir deux réponses différentes. Cela fait de chaque score de visibilité IA une estimation — et la plupart reposent sur beaucoup trop peu de réponses pour étayer les conclusions qu’on en tire.
Les grands modèles de langage échantillonnent leur sortie. La même question, posée de la même façon, peut nommer votre marque dans une réponse et l’omettre dans la suivante. Donc « ChatGPT nous recommande-t-il ? » n’a pas de réponse par oui ou par non ; il a un taux. Vous estimez ce taux en posant la question de nombreuses fois et en comptant — et, comme toute estimation faite sur un échantillon, il vient avec une marge d’erreur.
Chaque ligne montre une marque observée dans la moitié de ses réponses échantillonnées, et l’intervalle de confiance à 95 % de sa vraie visibilité (intervalle de Wilson, qui se comporte correctement sur les petits échantillons). La dernière colonne est la marge classique ± à 50 %, pour comparaison.
| Réponses échantillonnées | Observé | Fourchette à 95 % de la vraie visibilité | Marge simple |
|---|---|---|---|
| 5 | 2 sur 5 (40 %) | 12 %–77 % | ±44 pts |
| 10 | 5 sur 10 (50 %) | 24 %–76 % | ±31 pts |
| 15 | 7 sur 15 (47 %) | 25 %–70 % | ±25 pts |
| 25 | 12 sur 25 (48 %) | 30 %–67 % | ±20 pts |
| 50 | 25 sur 50 (50 %) | 37 %–63 % | ±14 pts |
| 100 | 50 sur 100 (50 %) | 40 %–60 % | ±10 pts |
| 200 | 100 sur 200 (50 %) | 43 %–57 % | ±7 pts |
| 400 | 200 sur 400 (50 %) | 45 %–55 % | ±5 pts |
Cinq réponses, c’est une taille courante pour une vérification rapide — y compris notre propre vérification gratuite. Si la vraie visibilité d’une marque est exactement de 50 %, voici les probabilités de chaque score :
| Score | 0/5 | 1/5 | 2/5 | 3/5 | 4/5 | 5/5 |
|---|---|---|---|---|---|---|
| Probabilité | 3.1% | 15.6% | 31.2% | 31.2% | 15.6% | 3.1% |
Une vérification à cinq réponses n’est bonne qu’à une chose : vous dire si vous apparaissez tout court. Si vous faites 0/5, votre vraie visibilité est probablement faible (la borne haute à 95 % est de 43 %). Elle n’est pas bonne pour distinguer 40 % de 60 %, ni cette semaine de la précédente.
Comparer deux périodes est plus difficile que d’en mesurer une, car les deux lectures sont bruitées. Le tableau donne le plus petit changement que vous pourriez détecter de façon fiable (puissance de 80 %, seuil de signification de 5 %, autour de 50 % de visibilité) avec le même nombre de réponses à chaque période.
| Réponses par période | Plus petit changement détectable |
|---|---|
| 5 | 89 pts |
| 15 | 51 pts |
| 25 | 40 pts |
| 50 | 28 pts |
| 100 | 20 pts |
| 200 | 14 pts |
| 400 | 10 pts |
Un tableau de bord qui affiche « +8 points cette semaine » à partir de 25 réponses par semaine ne rapporte donc surtout que du bruit. Les courbes de tendance sur plusieurs semaines, ou regroupées sur de nombreuses questions, sont bien plus fiables que n’importe quel écart d’une semaine sur l’autre.
Le calcul ci-dessus suppose que chaque réponse est un tirage indépendant. Ce n’est pas tout à fait le cas : les réponses répétées à la même question sont corrélées, donc 5 questions posées 3 fois chacune apportent moins d’information que 15 questions différentes. Répartissez votre échantillon sur de nombreuses questions d’acheteurs distinctes plutôt que d’en répéter quelques-unes, et considérez les fourchettes ci-dessus comme le meilleur cas.
Nos mots-clés suivis posent chacune de cinq questions figées trois fois par run, précisément pour cette raison, et notre méthodologie montre l’échantillon derrière chaque chiffre. Pour les formules des indicateurs eux-mêmes, voir comment calculer la part de voix IA.
Vous pouvez citer et représenter ces chiffres avec un lien en retour. Citation suggérée : Mentioned, « How Many AI Answers Do You Need to Measure Visibility? The Margin-of-Error Math », 25 octobre 2026, https://mentioned.at/learn/ai-visibility-margin-of-error. Les données et le texte sont publiés sous CC BY 4.0.