Comment tester si un changement GEO a marché

Résultats clés

Une seule vérification avant/après est surtout du bruit : les réponses IA varient d’un run à l’autre, et les modèles changent sous vos pieds.
Utilisez des questions cibles que le changement devrait affecter et des questions témoins qu’il ne devrait pas affecter, et comparez l’évolution de chacune.
Pour détecter une hausse de 10 points à partir d’une base de 30 %, il faut environ 356 réponses avant et 356 après ; une hausse de 20 points en demande environ 93 de chaque.
Planifiez le test avant de faire le changement : notez les questions, les modèles, la taille d’échantillon et le résultat qui compterait comme une victoire.

Pourquoi le avant/après induit en erreur

Trois choses font bouger un chiffre de visibilité IA en dehors de votre travail :

Le bruit d’échantillonnage. La même question peut vous nommer dans une réponse et pas dans la suivante. Un petit échantillon oscille de dizaines de points à lui seul — voir les tableaux de marge d’erreur.
Les changements de modèle. Les fournisseurs mettent à jour leurs modèles et la récupération sans prévenir. Un bond la semaine après votre lancement peut être le leur, pas le vôtre.
Le marché. L’annonce d’un financement chez un concurrent ou un avis viral fait bouger les réponses de votre catégorie quoi que vous fassiez.

Un bon test sépare votre effet de ces trois facteurs.

Le protocole : questions cibles et questions témoins

Choisissez des questions cibles que votre changement devrait plausiblement affecter. Si vous avez publié une page qui vous compare à un rival, les cibles sont les questions où les acheteurs comparent les deux.
Choisissez des questions témoins dans la même catégorie que le changement ne devrait pas affecter — autres cas d’usage, autres segments d’acheteurs.
Figez les deux ensembles avant le changement. Reformuler une question en cours de test change ce que vous mesurez.
Mesurez avant : posez chaque question de nombreuses fois sur chaque modèle qui vous intéresse, sur une ou deux semaines.
Faites le changement, puis attendez assez longtemps pour qu’il soit crawlé et indexé. Les réponses qui utilisent la recherche web en direct peuvent réagir en quelques jours ; tout ce qui dépend de l’entraînement du modèle prend bien plus longtemps.
Mesurez après avec les mêmes questions, les mêmes modèles et la même taille d’échantillon.
Comparez les variations : l’effet est (cible après − cible avant) − (témoin après − témoin avant). Une mise à jour de modèle qui fait monter tout le monde fait aussi monter les témoins, et s’annule.

C’est un protocole de différence de différences, la même logique que celle des économistes quand ils ne peuvent pas mener d’expérience propre. Il ne prouve pas la causalité, mais il écarte les fausses victoires les plus courantes.

De combien de réponses vous avez besoin

Réponses nécessaires à chaque période (avant et après) pour détecter une hausse de la taille indiquée, selon la visibilité de départ. Puissance de 80 %, signification bilatérale de 5 %, test de deux proportions.

Visibilité de départ	+5 pts	+10 pts	+15 pts	+20 pts
5%	435	141	76	49
10%	686	199	100	62
20%	1,094	294	138	82
30%	1,377	356	163	93
50%	1,565	388	170	93

Deux choses ressortent. Les petites hausses coûtent cher à prouver — un gain de 5 points demande bien plus d’un millier de réponses par période pour des bases typiques. Et les marques qui partent près de zéro peuvent détecter une hausse avec moins de réponses, car passer de 5 % à 15 % est un grand mouvement relatif.

Le tableau suppose des réponses indépendantes. Les réponses répétées à la même question sont corrélées ; répartissez donc l’échantillon sur autant de questions cibles distinctes que possible, et considérez ces chiffres comme des minimums.

Un plan concret

Décision	Exemple
Changement	Publier une page de comparaison avec votre plus gros rival et la faire lister sur deux sites d’avis
Questions cibles	10 questions que posent les acheteurs qui choisissent entre vous et ce rival
Questions témoins	10 questions sur un cas d’usage sans rapport dans la même catégorie
Modèles	ChatGPT et Gemini, présentés séparément
Échantillon	Chaque question posée 20 fois par modèle et par période : 200 réponses cibles par modèle et par période
Condition de victoire	La cible gagne au moins 10 points de plus que le témoin sur l’un des deux modèles
Calendrier	Deux semaines avant ; changement ; attendre deux semaines ; deux semaines après

Avec 200 réponses par période, ce plan peut détecter de façon fiable une hausse d’environ 13–14 points autour d’une base de 30 %. Si vous en attendez moins, posez les questions plus de fois ou attendez une période après plus longue.

Erreurs courantes

Choisir les questions après avoir vu les résultats. Décidez d’abord de l’ensemble cible, sinon vous trouverez les questions qui ont justement bougé.
Faire la moyenne entre modèles. Une vraie hausse sur un modèle peut disparaître dans la moyenne. Présentez chaque modèle, et décidez à l’avance lequel compte.
S’arrêter trop tôt. Vérifier tous les jours et s’arrêter au premier bon jour gonfle les fausses victoires. Fixez la date de fin dès le départ.
Prendre un résultat nul pour un échec. « Aucun changement détectable à cette taille d’échantillon » ne veut pas dire « aucun effet ». Dites quelle hausse le test aurait pu détecter.

Pour les indicateurs eux-mêmes, voir comment calculer la part de voix IA. Mentioned garde figées les questions de chaque mot-clé suivi et repose chacune trois fois par run, si bien que la série avant/après existe sans configuration supplémentaire.

Citer cette page

Vous pouvez citer et représenter ces chiffres avec un lien en retour. Citation suggérée : Mentioned, « How to Test Whether a GEO Change Actually Worked », 25 octobre 2026, https://mentioned.at/learn/how-to-test-geo-changes. Les données et le texte sont publiés sous CC BY 4.0.

Lancer un check gratuit