Cara Menguji Apakah Perubahan GEO Berhasil

Temuan utama

Satu pengecekan sebelum-dan-sesudah sebagian besar hanya derau: jawaban AI bervariasi dari proses ke proses, dan model berubah di bawah Anda.
Gunakan pertanyaan target yang seharusnya terpengaruh perubahan dan pertanyaan kontrol yang seharusnya tidak, lalu bandingkan pergerakan masing-masing.
Untuk mendeteksi kenaikan 10 poin dari garis dasar 30% Anda butuh sekitar 356 jawaban sebelum dan 356 sesudah; kenaikan 20 poin butuh sekitar 93 masing-masing.
Rencanakan pengujian sebelum membuat perubahan: tuliskan pertanyaan, model, ukuran sampel, dan hasil apa yang dihitung sebagai kemenangan.

Mengapa sebelum-dan-sesudah menyesatkan

Tiga hal menggerakkan angka visibilitas AI selain pekerjaan Anda:

Derau sampling. Pertanyaan yang sama bisa menyebut Anda di satu jawaban dan tidak di jawaban berikutnya. Sampel kecil bisa berayun puluhan poin dengan sendirinya — lihat tabel margin of error.
Perubahan model. Penyedia memperbarui model dan pengambilan tanpa pemberitahuan. Lonjakan seminggu setelah peluncuran Anda mungkin milik mereka, bukan Anda.
Pasar. Berita pendanaan pesaing atau ulasan viral menggerakkan jawaban di kategori Anda apa pun yang Anda lakukan.

Pengujian yang baik memisahkan efek Anda dari ketiganya.

Desainnya: pertanyaan target dan kontrol

Pilih pertanyaan target yang masuk akal terpengaruh perubahan Anda. Jika Anda menerbitkan halaman yang membandingkan Anda dengan pesaing, targetnya adalah pertanyaan tempat pembeli membandingkan keduanya.
Pilih pertanyaan kontrol di kategori yang sama yang tidak seharusnya terpengaruh perubahan — kasus penggunaan berbeda, segmen pembeli berbeda.
Bekukan kedua set sebelum perubahan. Mengubah redaksi pertanyaan di tengah pengujian mengubah apa yang Anda ukur.
Ukur sebelum: ajukan setiap pertanyaan berkali-kali di setiap model yang Anda pedulikan, selama satu atau dua minggu.
Buat perubahan, lalu tunggu cukup lama agar di-crawl dan diindeks. Jawaban yang memakai pencarian web langsung bisa bereaksi dalam hitungan hari; apa pun yang bergantung pada pelatihan model butuh waktu jauh lebih lama.
Ukur sesudah dengan pertanyaan, model, dan ukuran sampel yang sama.
Bandingkan perubahannya: efeknya adalah (target sesudah − target sebelum) − (kontrol sesudah − kontrol sebelum). Pembaruan model yang mengangkat semuanya juga mengangkat kontrol, dan saling meniadakan.

Ini desain difference-in-differences, logika yang sama yang dipakai ekonom saat tidak bisa menjalankan eksperimen yang bersih. Ia tidak membuktikan kausalitas, tetapi menyingkirkan kemenangan semu yang paling umum.

Berapa banyak jawaban yang dibutuhkan

Jawaban yang dibutuhkan di setiap periode (sebelum dan sesudah) untuk mendeteksi kenaikan sebesar yang diberikan, menurut visibilitas awal. Power 80%, signifikansi dua sisi 5%, uji dua proporsi.

Visibilitas awal	+5 poin	+10 poin	+15 poin	+20 poin
5%	435	141	76	49
10%	686	199	100	62
20%	1,094	294	138	82
30%	1,377	356	163	93
50%	1,565	388	170	93

Dua hal menonjol. Kenaikan kecil mahal untuk dibuktikan — kenaikan 5 poin butuh jauh lebih dari seribu jawaban per periode pada garis dasar tipikal. Dan merek yang mulai di dekat nol bisa mendeteksi kenaikan dengan lebih sedikit jawaban, karena naik dari 5% ke 15% adalah pergerakan relatif yang besar.

Tabel mengasumsikan jawaban independen. Jawaban berulang untuk pertanyaan yang sama saling berkorelasi, jadi sebarkan sampel ke sebanyak mungkin pertanyaan target yang berbeda, dan anggap angka ini sebagai minimum.

Rencana contoh

Keputusan	Contoh
Perubahan	Terbitkan halaman perbandingan melawan pesaing terbesar Anda dan masukkan ke dua situs ulasan
Pertanyaan target	10 pertanyaan yang diajukan pembeli saat memilih antara Anda dan pesaing itu
Pertanyaan kontrol	10 pertanyaan tentang kasus penggunaan yang tidak terkait di kategori yang sama
Model	ChatGPT dan Gemini, dilaporkan terpisah
Sampel	Setiap pertanyaan diajukan 20 kali per model per periode: 200 jawaban target per model per periode
Syarat menang	Target naik minimal 10 poin lebih banyak daripada kontrol di salah satu model
Waktu	Dua minggu sebelum; ubah; tunggu dua minggu; dua minggu sesudah

Dengan 200 jawaban per periode, rencana ini dapat mendeteksi dengan andal kenaikan sekitar 13–14 poin di sekitar garis dasar 30%. Jika Anda mengharapkan lebih kecil, tanyakan lebih sering atau tunggu periode sesudah yang lebih panjang.

Kesalahan umum

Memilih pertanyaan setelah melihat hasil. Tentukan set target lebih dulu, atau Anda akan menemukan pertanyaan yang kebetulan bergerak.
Merata-ratakan lintas model. Kenaikan nyata di satu model bisa lenyap di rata-rata. Laporkan tiap model, dan putuskan sebelumnya mana yang dihitung.
Berhenti terlalu dini. Memeriksa tiap hari dan berhenti di hari bagus pertama menggelembungkan kemenangan semu. Tetapkan tanggal akhir di awal.
Menyebut hasil nol sebagai kegagalan. “Tidak ada perubahan terdeteksi pada ukuran sampel ini” bukan “tidak ada efek”. Sebutkan kenaikan berapa yang bisa dideteksi pengujian itu.

Untuk metriknya sendiri, lihat cara menghitung share of voice AI. Mentioned menjaga pertanyaan tiap keyword yang dilacak tetap beku dan menanyakan ulang masing-masing tiga kali per proses, sehingga deret sebelum-dan-sesudah tersedia tanpa pengaturan tambahan.

Kutip ini

Anda boleh mengutip dan membuat grafik dari angka-angka ini dengan menautkan kembali ke kami. Saran sitasi: Mentioned, “How to Test Whether a GEO Change Actually Worked,” 25 Oktober 2026, https://mentioned.at/learn/how-to-test-geo-changes. Data dan teks diterbitkan di bawah CC BY 4.0.

Jalankan pengecekan gratis