AI 可见度的误差范围:背后的数学

主要发现

可见度分数是一个比例:抽样 AI 答案中点名你的占比。它的不确定性遵循与任何民意调查相同的二项分布数学。
只有 5 个答案时,一个实际上有一半时间出现的品牌,有 94% 的概率因偶然得到 5 个中的 1、2、3 或 4 个。五个答案无法可靠地区分 25% 的可见度和 75%。
15 个答案时,读数 7/15 仍然对应 25% 到 70% 的 95% 区间。
要检测两个时期之间 10 个百分点的变化,每个时期大约需要 400 个答案。

为什么一个答案不算一次测量

大语言模型的输出是采样得到的。同一个问题,用同样的方式问,可能在一个答案里点名你的品牌,下一个答案里就漏掉了。所以“ChatGPT 推荐我们吗?”没有是或否的答案,只有一个比率。你通过多次提问并计数来估算这个比率,而且和任何来自样本的估算一样,它带有误差范围。

每种样本量下的区间有多宽

每一行是一个在一半抽样答案中被观察到的品牌,以及它真实可见度的 95% 置信区间(Wilson 得分区间,在小样本下表现正常)。最后一列是 50% 处教科书式的 ± 误差,用于对比。

抽样答案数	观察到	真实可见度的 95% 区间	简单误差
5	5 个中 2 个(40%)	12%–77%	±44 个百分点
10	10 个中 5 个(50%)	24%–76%	±31 个百分点
15	15 个中 7 个(47%)	25%–70%	±25 个百分点
25	25 个中 12 个(48%)	30%–67%	±20 个百分点
50	50 个中 25 个(50%)	37%–63%	±14 个百分点
100	100 个中 50 个(50%)	40%–60%	±10 个百分点
200	200 个中 100 个(50%)	43%–57%	±7 个百分点
400	400 个中 200 个(50%)	45%–55%	±5 个百分点

五个答案能告诉你什么、不能告诉你什么

五个答案是快速检查的常见规模,我们自己的免费检查也是如此。如果一个品牌的真实可见度恰好是 50%,每种得分出现的概率如下:

得分	0/5	1/5	2/5	3/5	4/5	5/5
概率	3.1%	15.6%	31.2%	31.2%	15.6%	3.1%

五个答案的检查只擅长一件事:告诉你到底有没有出现。如果你得 0/5,你的真实可见度大概率很低(95% 上限是 43%)。它不擅长区分 40% 和 60%,也不擅长区分本周和上周。

检测随时间的变化

比较两个时期比测量一个时期更难,因为两个读数都有噪声。下表给出在每个时期答案数相同的情况下,你能可靠检测到的最小变化(80% 检验功效、5% 显著性水平、可见度约 50%)。

每期答案数	最小可检测变化
5	89 个百分点
15	51 个百分点
25	40 个百分点
50	28 个百分点
100	20 个百分点
200	14 个百分点
400	10 个百分点

所以,一个每周只用 25 个答案就报告“本周 +8 个百分点”的仪表盘,报告的多半是噪声。跨越许多周的趋势线,或汇总了许多问题的数据,比任何单周环比的变化可信得多。

答案并不完全独立

上面的数学假设每个答案都是独立抽样。实际并不完全如此:对同一个问题的重复答案是相关的,所以 5 个问题各问 3 次,携带的信息比 15 个不同的问题要少。请把样本分散到许多不同的买家问题上,而不是重复问几个,并把上面的区间当作最好的情况。

实用规则

用小样本回答“我们到底有没有在对话里?”,而不是“我们涨了 5 个百分点吗?”。
在每个可见度分数旁边报告一个区间,至少也要报告样本量。
按多个时期判断趋势,并在解读变化之前,把多个问题和多个模型的数据汇总起来。
问许多不同的买家问题,而不是重复一个。我们的买家问题生成器可以帮你建立清单。

我们追踪的关键词,每次运行都把五个固定问题各问三遍,正是出于这个原因,我们的方法展示了每个数字背后的样本。关于这些指标本身的公式,请看如何计算 AI 声量份额。

引用本文

欢迎引用这些数据并制作图表,请附上回链。建议引用格式:Mentioned,“How Many AI Answers Do You Need to Measure Visibility? The Margin-of-Error Math”,2026 年 10 月 25 日,https://mentioned.at/learn/ai-visibility-margin-of-error。数据和文字依据 CC BY 4.0 发布。

免费检查一次