AI可視性の誤差範囲：その数学

主な発見

可視性スコアは割合です。サンプリングしたAI回答のうち、あなたの名前が挙がった割合です。その不確かさは、世論調査と同じ二項分布の数学に従います。
5回答の場合、本当は半分の確率で登場するブランドでも、偶然により5回答中1、2、3、4回というスコアになる確率が94%あります。5回答では、可視性25%と75%を確実に見分けられません。
15回答でも、7/15という結果の95%範囲は25%〜70%あります。
2つの期間の間で10ポイントの変化を検出するには、各期間でおよそ400回答が必要です。

1回答は測定ではない理由

大規模言語モデルは出力をサンプリングします。同じ質問を同じ方法で尋ねても、ある回答ではあなたのブランドが挙がり、次の回答では外れることがあります。そのため、「ChatGPTは自社をおすすめしているか？」にはYesかNoの答えはなく、あるのは率です。その率は、何度も尋ねて数えることで推定します。サンプルからの推定である以上、他の推定と同じく誤差範囲が付いてきます。

サンプル数ごとの範囲の広さ

各行は、サンプリングした回答の半分で観測されたブランドと、その真の可視性の95%信頼区間（少ないサンプルでも適切に振る舞うWilsonスコア区間）を示します。最後の列は、比較のための、50%での教科書的な±の誤差範囲です。

サンプリングした回答数	観測値	真の可視性の95%範囲	単純な誤差範囲
5	5回答中2回（40%）	12%–77%	±44ポイント
10	10回答中5回（50%）	24%–76%	±31ポイント
15	15回答中7回（47%）	25%–70%	±25ポイント
25	25回答中12回（48%）	30%–67%	±20ポイント
50	50回答中25回（50%）	37%–63%	±14ポイント
100	100回答中50回（50%）	40%–60%	±10ポイント
200	200回答中100回（50%）	43%–57%	±7ポイント
400	400回答中200回（50%）	45%–55%	±5ポイント

5回答で分かることと分からないこと

5回答は、簡易チェックでよく使われる件数で、当社の無料チェックもそうです。ブランドの真の可視性がちょうど50%だとすると、各スコアが出る確率は次のとおりです。

スコア	0/5	1/5	2/5	3/5	4/5	5/5
確率	3.1%	15.6%	31.2%	31.2%	15.6%	3.1%

5回答のチェックが得意なのは、ただ1つ、そもそも登場しているかを知ることです。0/5なら、真の可視性はおそらく低いと言えます（95%の上限は43%）。40%と60%の区別や、今週と先週の比較は得意ではありません。

時間による変化の検出

2つの期間を比べるのは、1つを測るより難しくなります。どちらの数値もぶれるからです。表は、各期間で同じ回答数としたときに、確実に検出できる最小の変化（検出力80%、有意水準5%、可視性50%前後）を示しています。

期間あたりの回答数	検出可能な最小の変化
5	89ポイント
15	51ポイント
25	40ポイント
50	28ポイント
100	20ポイント
200	14ポイント
400	10ポイント

したがって、週25回答のデータから「今週+8ポイント」と報告するダッシュボードは、ほとんどノイズを報告しているだけです。何週間にもわたるトレンドラインや、多くの質問をまとめた値のほうが、単週の前週比よりはるかに信頼できます。

回答は完全には独立していない

上の計算は、どの回答も独立した抽出だと仮定しています。実際にはそうではありません。同じ質問への繰り返しの回答は相関するので、5つの質問を3回ずつ尋ねても、15の異なる質問より得られる情報は少なくなります。少数の質問を繰り返すのではなく、多くの異なる買い手の質問にサンプルを分散させ、上の範囲は最良のケースとして扱ってください。

実践のルール

少ないサンプルは、「そもそも会話に登場しているか？」に答えるために使い、「5ポイント上がったか？」には使わないでください。
可視性スコアには必ず、範囲か、少なくともサンプル数を添えて報告してください。
トレンドは複数の期間で判断し、変化を読む前に、質問とモデルをまとめて集計してください。
1つの質問を繰り返すのではなく、多くの異なる買い手の質問を尋ねてください。リスト作りには、買い手の質問ジェネレーターが役立ちます。

追跡キーワードでは、まさにこの理由から、固定した5つの質問を、1回の実行でそれぞれ3回ずつ尋ねます。すべての数字の裏にあるサンプルは、調査方法で確認できます。指標そのものの計算式は、AIシェアオブボイスの計算方法をご覧ください。

引用する

リンクを添えていただければ、これらの数値の引用やグラフ化は自由です。引用表記の例：Mentioned, “How Many AI Answers Do You Need to Measure Visibility? The Margin-of-Error Math,” October 25, 2026, https://mentioned.at/learn/ai-visibility-margin-of-error。データと本文はCC BY 4.0で公開しています。

無料チェックを実行