한 번의 전후 체크는 대부분 잡음입니다. AI 답변은 실행마다 달라지고, 모델도 내부에서 바뀝니다.
변경이 영향을 줘야 하는 대상 질문과 영향을 주지 않아야 하는 대조 질문을 쓰고, 각각이 어떻게 움직였는지 비교하세요.
기준선 30%에서 10포인트 상승을 검출하려면 전 356개, 후 356개 답변이 필요하고, 20포인트 상승이면 각각 약 93개가 필요합니다.
변경하기 전에 테스트를 계획하세요. 질문, 모델, 표본 크기, 그리고 어떤 결과를 성공으로 칠지 적어 두세요.
전후 비교가 오해를 부르는 이유
AI 가시성 수치를 움직이는 것은 내 작업 말고도 세 가지가 있습니다.
표본 잡음. 같은 질문이 한 답변에서는 나를 거론하고 다음 답변에서는 거론하지 않을 수 있습니다. 작은 표본은 그것만으로 수십 포인트씩 출렁입니다. 오차 범위 표를 보세요.
모델 변경. 제공사는 예고 없이 모델과 검색(retrieval)을 업데이트합니다. 출시 다음 주의 급등은 내 덕이 아니라 그쪽 덕일 수 있습니다.
시장. 경쟁사의 투자 소식이나 입소문 난 리뷰는 내가 무엇을 하든 카테고리의 답변을 움직입니다.
좋은 테스트는 내 효과를 이 세 가지와 분리합니다.
설계: 대상 질문과 대조 질문
대상 질문을 고르세요. 변경이 그럴듯하게 영향을 줄 질문입니다. 경쟁사와 나를 비교하는 페이지를 게시했다면, 대상은 구매자가 둘을 비교하는 질문입니다.
대조 질문을 고르세요. 같은 카테고리에 있지만 변경이 영향을 주지 않아야 하는 질문입니다. 다른 사용 사례, 다른 구매자 세그먼트입니다.
변경 전에 두 세트를 모두 고정하세요. 테스트 도중 질문 문구를 바꾸면 측정 대상이 바뀝니다.
전 측정: 관심 있는 각 모델에 모든 질문을 일주일이나 이주일에 걸쳐 여러 번 묻습니다.
변경을 적용하고, 크롤되고 색인될 만큼 충분히 기다리세요. 실시간 웹 검색을 쓰는 답변은 며칠 안에 반응할 수 있지만, 모델 학습에 의존하는 것은 훨씬 오래 걸립니다.
같은 질문, 모델, 표본 크기로 후 측정을 합니다.
변화를 비교하세요. 효과는 (대상 후 − 대상 전) − (대조 후 − 대조 전)입니다. 모든 것을 끌어올리는 모델 업데이트는 대조 질문도 끌어올리므로 상쇄됩니다.
이것은 이중차분 설계로, 경제학자들이 깔끔한 실험을 할 수 없을 때 쓰는 것과 같은 논리입니다. 인과관계를 증명하지는 못하지만 가장 흔한 거짓 성공은 걸러 냅니다.
답변이 몇 개나 필요한가
시작 가시성별로, 주어진 크기의 상승을 검출하는 데 각 기간(전과 후)에 필요한 답변 수입니다. 검정력 80%, 유의수준 5% 양측, 두 비율 검정.
시작 가시성
+5 pts
+10 pts
+15 pts
+20 pts
5%
435
141
76
49
10%
686
199
100
62
20%
1,094
294
138
82
30%
1,377
356
163
93
50%
1,565
388
170
93
눈에 띄는 점이 두 가지 있습니다. 작은 상승은 증명하는 데 비용이 많이 듭니다. 일반적인 기준선에서 5포인트 상승에는 기간당 답변이 천 개를 훌쩍 넘게 필요합니다. 그리고 0 근처에서 시작하는 브랜드는 더 적은 답변으로 상승을 검출할 수 있습니다. 5%에서 15%로 가는 것은 상대적으로 큰 변화이기 때문입니다.
표는 답변이 독립적이라고 가정합니다. 같은 질문에 대한 반복 답변은 서로 상관되어 있으므로, 가능한 한 많은 서로 다른 대상 질문에 표본을 분산하고 이 숫자는 최소치로 보세요.
계획 예시
결정 사항
예시
변경
가장 큰 경쟁사와의 비교 페이지를 게시하고 리뷰 사이트 두 곳에 등록하기
대상 질문
구매자가 나와 그 경쟁사 중에서 고를 때 묻는 질문 10개
대조 질문
같은 카테고리의 무관한 사용 사례에 대한 질문 10개
모델
ChatGPT와 Gemini, 따로 보고
표본
기간당 모델당 질문마다 20번씩 질문: 기간당 모델당 대상 답변 200개
성공 조건
어느 한 모델에서 대상이 대조보다 10포인트 이상 더 상승
일정
변경 전 2주, 변경, 2주 대기, 변경 후 2주
기간당 답변 200개로 이 계획은 기준선 30% 부근에서 대략 13~14포인트의 상승을 안정적으로 검출할 수 있습니다. 그보다 작은 변화를 기대한다면 더 많이 묻거나 후 기간을 더 길게 잡으세요.
흔한 실수
결과를 본 뒤에 질문을 고르는 것. 대상 세트를 먼저 정하세요. 그렇지 않으면 우연히 움직인 질문을 찾아내게 됩니다.
모델 전체를 평균 내는 것. 한 모델에서의 실제 상승이 평균에서는 사라질 수 있습니다. 모델별로 보고하고 어느 쪽이 기준인지 미리 정하세요.
일찍 멈추는 것. 매일 확인하다가 처음 좋은 날에 멈추면 거짓 성공이 부풀려집니다. 종료일을 미리 고정하세요.
무효 결과를 실패로 부르는 것. “이 표본 크기에서 검출 가능한 변화 없음”은 “효과 없음”이 아닙니다. 테스트가 어느 정도의 상승을 검출할 수 있었는지 밝히세요.
지표 자체는 AI 점유율 계산하는 법을 보세요. Mentioned는 추적 키워드마다 질문을 고정해 두고 실행마다 각 질문을 세 번씩 다시 묻기 때문에, 별도 설정 없이도 전후 시계열이 만들어집니다.
인용하기
링크를 남기면 이 수치를 자유롭게 인용하고 차트로 만들어도 됩니다. 권장 인용 형식: Mentioned, “GEO 변경이 정말로 효과가 있었는지 테스트하는 법,” 2026년 10월 25일, https://mentioned.at/learn/how-to-test-geo-changes. 데이터와 텍스트는 CC BY 4.0 라이선스로 공개됩니다.
