GEOの変更が効いたかをテストする方法

主な発見

ビフォーアフターの1回きりのチェックは、ほとんどがノイズです。AIの回答は実行ごとに変わり、モデルも気づかないうちに変わります。
変更が影響するはずのターゲット質問と、影響しないはずの対照質問を用意し、それぞれがどう動いたかを比べます。
ベースライン30%から10ポイントの上昇を検出するには、前後それぞれ約356回答が必要です。20ポイントの上昇なら、それぞれ約93回答です。
変更を加える前にテストを計画しましょう。質問、モデル、サンプル数、そしてどんな結果なら勝ちとみなすかを書き出します。

ビフォーアフターが誤解を招く理由

AI可視性の数字を動かすものは、自社の取り組みのほかに3つあります。

サンプリングのノイズ。同じ質問でも、ある回答では名前が挙がり、次では挙がらないことがあります。少ないサンプルは、それだけで数十ポイント振れます。誤差範囲の表をご覧ください。
モデルの変更。プロバイダーは、予告なくモデルや検索の仕組みを更新します。ローンチの翌週に起きた上昇は、自社ではなく、相手側の変更によるものかもしれません。
市場。競合の資金調達のニュースや、話題になったレビューは、自社が何をしても、カテゴリの回答を動かします。

良いテストは、自社の効果をこの3つすべてから切り分けます。

設計：ターゲット質問と対照質問

ターゲット質問を選ぶ。変更が影響しそうな質問です。競合と自社を比べるページを公開したなら、買い手がその2社を比べる質問がターゲットです。
対照質問を選ぶ。同じカテゴリで、変更が影響しないはずの質問です。別のユースケース、別の買い手セグメントなどです。
変更の前に、両方のセットを固定する。テストの途中で質問の表現を変えると、測っているものが変わってしまいます。
前を測る。気にしている各モデルに、すべての質問を、1〜2週間かけて何度も尋ねます。
変更を加える。そして、クロールされ、インデックスされるまで、十分に待ちます。ライブのウェブ検索を使う回答は数日で反応しえますが、モデルの学習に依存するものは、はるかに時間がかかります。
後を測る。同じ質問、同じモデル、同じサンプル数で行います。
変化を比べる。効果は、（ターゲットの後 − ターゲットの前）−（対照の後 − 対照の前）です。すべてを押し上げるモデルの更新は、対照も押し上げるので、相殺されます。

これは差の差（difference-in-differences）の設計で、経済学者がきれいな実験を行えないときに使うのと同じ考え方です。因果関係を証明するわけではありませんが、最もよくある偽の成功は排除できます。

必要な回答数

開始時の可視性ごとに、指定した大きさの上昇を検出するために、前後の各期間で必要な回答数。検出力80%、有意水準5%（両側）、2標本の比率検定です。

開始時の可視性	+5ポイント	+10ポイント	+15ポイント	+20ポイント
5%	435	141	76	49
10%	686	199	100	62
20%	1,094	294	138	82
30%	1,377	356	163	93
50%	1,565	388	170	93

目立つ点が2つあります。小さな上昇は、証明するのに費用がかかります。典型的なベースラインでは、5ポイントの上昇に、期間あたり1,000回答をはるかに超える数が必要です。また、ゼロに近いところから始めるブランドは、少ない回答数で上昇を検出できます。5%から15%への変化は、相対的に大きな動きだからです。

この表は、回答が独立していることを前提にしています。同じ質問への繰り返しの回答は相関するので、サンプルはできるだけ多くの異なるターゲット質問に分散させ、これらの数字は最小値として扱ってください。

具体的な計画の例

決めること	例
変更	最大の競合と比較するページを公開し、2つのレビューサイトに掲載してもらう
ターゲット質問	買い手が自社とその競合のどちらかを選ぶときに尋ねる10の質問
対照質問	同じカテゴリの、無関係なユースケースに関する10の質問
モデル	ChatGPTとGemini（別々に報告）
サンプル	各質問を、期間ごとにモデルあたり20回尋ねる：期間ごとにモデルあたりターゲットの回答200件
勝利条件	どちらかのモデルで、ターゲットが対照より10ポイント以上多く上昇する
タイミング	2週間前を測る、変更する、2週間待つ、2週間後を測る

期間あたり200回答なら、この計画は、30%前後のベースラインで、およそ13〜14ポイントの上昇を確実に検出できます。それより小さい上昇を見込むなら、尋ねる回数を増やすか、後の期間を長くしてください。

よくある間違い

結果を見てから質問を選ぶ。先にターゲットのセットを決めてください。そうしないと、たまたま動いた質問を見つけてしまいます。
モデルをまたいで平均する。あるモデルでの本物の上昇が、平均の中で消えることがあります。モデルごとに報告し、どれを採用するかを事前に決めてください。
早く打ち切る。毎日確認して、最初に良い日が出たところで止めると、偽の成功が増えます。終了日は最初に決めてください。
変化なしを失敗と呼ぶ。「このサンプル数では検出可能な変化なし」は、「効果なし」ではありません。このテストがどの大きさの上昇なら検出できたかを伝えてください。

指標そのものについては、AIシェアオブボイスの計算方法をご覧ください。Mentionedは、追跡キーワードごとに質問を固定し、1回の実行で各質問を3回ずつ尋ねるので、追加の設定なしで、ビフォーアフターの時系列が得られます。

引用する

リンクを添えていただければ、これらの数値の引用やグラフ化は自由です。引用表記の例：Mentioned, “How to Test Whether a GEO Change Actually Worked,” October 25, 2026, https://mentioned.at/learn/how-to-test-geo-changes。データと本文はCC BY 4.0で公開しています。

無料チェックを実行