Come verificare se una modifica GEO ha funzionato

Risultati principali

Un singolo check prima-e-dopo è per lo più rumore: le risposte AI variano da un run all'altro e i modelli cambiano sotto i tuoi piedi.
Usa domande target che la modifica dovrebbe influenzare e domande di controllo che non dovrebbe, e confronta come si è mossa ciascuna.
Per rilevare un aumento di 10 punti da una baseline del 30% servono circa 356 risposte prima e 356 dopo; per un aumento di 20 punti ne servono circa 93 ciascuna.
Pianifica il test prima di fare la modifica: scrivi le domande, i modelli, la dimensione del campione e quale risultato conterà come vittoria.

Perché il prima-e-dopo inganna

Tre cose muovono un numero di visibilità AI oltre al tuo lavoro:

Rumore di campionamento. La stessa domanda può nominarti in una risposta e non nella successiva. Un campione piccolo oscilla di decine di punti da solo — vedi le tabelle del margine di errore.
Cambi di modello. I fornitori aggiornano modelli e recupero senza preavviso. Un salto la settimana dopo il tuo lancio può essere loro, non tuo.
Il mercato. La notizia di un finanziamento di un concorrente o una recensione virale muovono le risposte nella tua categoria qualunque cosa tu faccia.

Un buon test separa il tuo effetto da tutti e tre.

Il disegno: domande target e di controllo

Scegli le domande target che la tua modifica dovrebbe plausibilmente influenzare. Se hai pubblicato una pagina che ti confronta con un rivale, i target sono le domande in cui gli acquirenti confrontano i due.
Scegli le domande di controllo nella stessa categoria che la modifica non dovrebbe influenzare — casi d'uso diversi, segmenti di acquirenti diversi.
Congela entrambi gli insiemi prima della modifica. Riformulare una domanda a metà test cambia ciò che stai misurando.
Misura prima: poni ogni domanda molte volte su ogni modello che ti interessa, nell'arco di una o due settimane.
Fai la modifica, poi aspetta abbastanza perché venga scansionata e indicizzata. Le risposte che usano la ricerca web live possono reagire in pochi giorni; tutto ciò che dipende dall'addestramento del modello richiede molto di più.
Misura dopo con le stesse domande, gli stessi modelli e la stessa dimensione del campione.
Confronta le variazioni: l'effetto è (target dopo − target prima) − (controllo dopo − controllo prima). Un aggiornamento del modello che solleva tutto solleva anche i controlli, e si annulla.

È un disegno difference-in-differences, la stessa logica che usano gli economisti quando non possono condurre un esperimento pulito. Non dimostra la causalità, ma esclude le false vittorie più comuni.

Quante risposte servono

Risposte necessarie in ciascun periodo (prima e dopo) per rilevare un aumento della dimensione indicata, in base alla visibilità di partenza. Potenza 80%, significatività 5% a due code, test a due proporzioni.

Visibilità di partenza	+5 pt	+10 pt	+15 pt	+20 pt
5%	435	141	76	49
10%	686	199	100	62
20%	1,094	294	138	82
30%	1,377	356	163	93
50%	1,565	388	170	93

Due cose spiccano. Gli aumenti piccoli sono costosi da dimostrare — un guadagno di 5 punti richiede ben oltre mille risposte per periodo con baseline tipiche. E i brand che partono vicino a zero possono rilevare un aumento con meno risposte, perché passare dal 5% al 15% è un grande movimento relativo.

La tabella presume risposte indipendenti. Le risposte ripetute alla stessa domanda sono correlate, quindi distribuisci il campione su quante più domande target distinte puoi, e considera questi numeri come minimi.

Un piano svolto

Decisione	Esempio
Modifica	Pubblicare una pagina di confronto con il tuo rivale più grande e farla inserire su due siti di recensioni
Domande target	10 domande che gli acquirenti fanno quando scelgono tra te e quel rivale
Domande di controllo	10 domande su un caso d'uso non correlato nella stessa categoria
Modelli	ChatGPT e Gemini, riportati separatamente
Campione	Ogni domanda posta 20 volte per modello per periodo: 200 risposte target per modello per periodo
Condizione di vittoria	Il target sale di almeno 10 punti più del controllo su uno dei due modelli
Tempistiche	Due settimane prima; modifica; attendi due settimane; due settimane dopo

Con 200 risposte per periodo questo piano può rilevare in modo affidabile un aumento di circa 13–14 punti attorno a una baseline del 30%. Se te ne aspetti meno, poni le domande più volte o aspetta un periodo successivo più lungo.

Errori comuni

Scegliere le domande dopo aver visto i risultati. Decidi prima l'insieme target, o troverai le domande che per caso si sono mosse.
Fare la media tra i modelli. Un aumento reale su un modello può sparire nella media. Riporta ogni modello e decidi in anticipo quale conta.
Fermarsi presto. Controllare ogni giorno e fermarsi al primo giorno buono gonfia le false vittorie. Fissa la data di fine in anticipo.
Chiamare fallimento un risultato nullo. “Nessuna variazione rilevabile con questa dimensione del campione” non è “nessun effetto”. Di' quale aumento il test avrebbe potuto rilevare.

Per le metriche in sé, vedi come calcolare la share of voice nell'AI. Mentioned tiene congelate le domande di ogni keyword tracciata e le ripone tre volte a ogni run, quindi la serie prima-e-dopo esiste senza configurazione aggiuntiva.

Come citare

Puoi citare e rappresentare in grafici questi dati con un link di ritorno. Citazione suggerita: Mentioned, “How to Test Whether a GEO Change Actually Worked,” October 25, 2026, https://mentioned.at/learn/how-to-test-geo-changes. Dati e testo sono pubblicati con licenza CC BY 4.0.

Fai un controllo gratuito