如何测试一项 GEO 改动是否有效

主要发现

单次前后对比的检查大多是噪声:AI 答案每次运行都不同,而且模型在你脚下不断变化。
使用这项改动应该影响的目标问题,以及它不该影响的对照问题,然后比较各自的变化。
要在 30% 的基线上检测出 10 个百分点的提升,你前后各需要约 356 个答案;20 个百分点的提升各需要约 93 个。
在做出改动之前就规划好测试:写下问题、模型、样本量,以及什么样的结果才算赢。

为什么前后对比会误导

除了你的工作之外,还有三件事会让 AI 可见度数字发生变化:

抽样噪声。同一个问题可能在一个答案里点名你,在下一个里不点。小样本自身就会波动几十个百分点,见误差范围表。
模型变化。提供方会不加通知地更新模型和检索。你上线后一周出现的跃升,可能是他们的功劳,不是你的。
市场。竞争对手的融资新闻或一条爆款评测,无论你做什么,都会改变你所在品类的答案。

好的测试能把你的效果与这三者分开。

设计:目标问题和对照问题

挑选目标问题,即你的改动合理上会影响的问题。如果你发布了一个把你和某个对手做对比的页面,目标就是买家比较这两者的问题。
挑选对照问题,它们属于同一品类,但这项改动不该影响:不同的使用场景、不同的买家细分。
在改动之前固定两组问题。在测试中途改写问题,就改变了你正在测量的东西。
先测量改动前:在一两周内,对你关心的每个模型把每个问题都问很多遍。
做出改动,然后等足够长的时间,让它被抓取和索引。使用实时网页搜索的答案几天内就可能有反应;任何依赖模型训练的内容则要久得多。
用同样的问题、模型和样本量测量改动后。
比较各自的变化:效果 =(目标组改动后 − 目标组改动前)−(对照组改动后 − 对照组改动前)。一次让所有东西都上升的模型更新,也会让对照组上升,从而被抵消。

这是一种双重差分设计,经济学家在无法进行干净的实验时用的就是同样的逻辑。它不能证明因果关系,但可以排除最常见的虚假胜利。

你需要多少个答案

按起始可见度,检测给定幅度的提升,每个时期(改动前和改动后)所需的答案数。80% 检验功效,5% 双侧显著性水平,双比例检验。

起始可见度	+5 个百分点	+10 个百分点	+15 个百分点	+20 个百分点
5%	435	141	76	49
10%	686	199	100	62
20%	1,094	294	138	82
30%	1,377	356	163	93
50%	1,565	388	170	93

有两点很突出。小幅提升很难证明,在典型基线下,5 个百分点的增长每个时期需要远超一千个答案。而起点接近零的品牌,用更少的答案就能检测到提升,因为从 5% 到 15% 是很大的相对变化。

这张表假设答案是独立的。对同一问题的重复答案是相关的,所以请把样本分散到尽可能多的不同目标问题上,并把这些数字当作最低值。

一个具体的计划

决策	示例
改动	发布一个对比你最大对手的页面,并让它出现在两个评测网站上
目标问题	买家在你和那个对手之间做选择时会问的 10 个问题
对照问题	同一品类中关于一个无关使用场景的 10 个问题
模型	ChatGPT 和 Gemini,分别报告
样本	每个问题每个时期在每个模型上问 20 次:每个模型每个时期 200 个目标答案
获胜条件	在任一模型上,目标组的提升比对照组至少多 10 个百分点
时间安排	改动前两周;做出改动;等待两周;改动后两周

每个时期 200 个答案,这个计划可以可靠地检测到 30% 基线附近约 13–14 个百分点的提升。如果你预期的提升更小,就多问几次,或者等更长的改动后时期。

常见错误

看到结果之后才选问题。先确定目标组,否则你会找到恰好有变化的那些问题。
跨模型求平均。某个模型上的真实提升可能在平均中消失。分别报告每个模型,并事先决定以哪个为准。
过早停止。每天检查,并在第一个好的日子就停下来,会夸大虚假的胜利。预先固定结束日期。
把无结果当作失败。“在这个样本量下未检测到变化”不等于“没有效果”。要说明这次测试本来能检测到多大的提升。

关于这些指标本身,请看如何计算 AI 声量份额。Mentioned 会让每个被追踪关键词的问题保持固定,并且每次运行把每个问题重新问三遍,所以前后对比的数据序列无需额外设置就已存在。

引用本文

欢迎引用这些数据并制作图表,请附上回链。建议引用格式:Mentioned,“How to Test Whether a GEO Change Actually Worked”,2026 年 10 月 25 日,https://mentioned.at/learn/how-to-test-geo-changes。数据和文字依据 CC BY 4.0 发布。

免费检查一次