가시성 점수는 비율입니다. 표본으로 뽑은 AI 답변 중 나를 언급한 답변의 몫이죠. 불확실성은 여론조사와 같은 이항분포 계산을 따릅니다.
답변이 5개일 때, 실제로 절반의 확률로 등장하는 브랜드도 94%의 확률로 우연히 5개 중 1, 2, 3, 4개로 나옵니다. 답변 다섯 개로는 가시성 25%와 75%를 안정적으로 구분할 수 없습니다.
답변이 15개여도 7/15라는 결과의 95% 범위는 25%에서 70%입니다.
두 기간 사이의 10포인트 변화를 검출하려면 기간마다 대략 답변 400개가 필요합니다.
답변 하나는 측정이 아닌 이유
대규모 언어 모델은 출력을 샘플링합니다. 같은 질문을 같은 방식으로 물어도 한 답변은 내 브랜드를 언급하고 다음 답변은 빼놓을 수 있습니다. 그래서 “ChatGPT가 우리를 추천하나요?”에는 예/아니오 답이 없고 비율이 있을 뿐입니다. 그 비율은 여러 번 묻고 세어서 추정하며, 표본으로 한 모든 추정이 그렇듯 오차 범위가 따라붙습니다.
표본 크기별 범위의 폭
각 행은 표본 답변의 절반에서 관측된 브랜드와, 그 브랜드의 실제 가시성에 대한 95% 신뢰구간(작은 표본에서도 제대로 동작하는 Wilson 점수 구간)을 보여 줍니다. 마지막 열은 비교를 위한, 50%에서의 교과서적인 ± 오차입니다.
표본 답변 수
관측값
실제 가시성의 95% 범위
단순 오차
5
5개 중 2개 (40%)
12%–77%
±44 pts
10
10개 중 5개 (50%)
24%–76%
±31 pts
15
15개 중 7개 (47%)
25%–70%
±25 pts
25
25개 중 12개 (48%)
30%–67%
±20 pts
50
50개 중 25개 (50%)
37%–63%
±14 pts
100
100개 중 50개 (50%)
40%–60%
±10 pts
200
200개 중 100개 (50%)
43%–57%
±7 pts
400
400개 중 200개 (50%)
45%–55%
±5 pts
답변 다섯 개로 알 수 있는 것과 없는 것
답변 다섯 개는 빠른 확인에 흔히 쓰는 크기이며, 우리의 무료 체크도 마찬가지입니다. 브랜드의 실제 가시성이 정확히 50%라면 각 점수가 나올 확률은 다음과 같습니다.
점수
0/5
1/5
2/5
3/5
4/5
5/5
확률
3.1%
15.6%
31.2%
31.2%
15.6%
3.1%
답변 다섯 개짜리 체크가 잘하는 일은 하나입니다. 내가 한 번이라도 등장하는지 알려 주는 것입니다. 0/5가 나왔다면 실제 가시성은 아마 낮을 것입니다(95% 상한이 43%). 40%와 60%를 구분하거나 이번 주와 지난주를 비교하는 데는 쓸 수 없습니다.
시간에 따른 변화 검출
두 기간을 비교하는 것은 한 기간을 재는 것보다 어렵습니다. 두 측정값 모두 잡음이 있기 때문입니다. 표는 기간마다 같은 수의 답변이 있을 때 안정적으로 검출할 수 있는 가장 작은 변화(검정력 80%, 유의수준 5%, 가시성 50% 부근)를 보여 줍니다.
기간당 답변 수
검출 가능한 최소 변화
5
89 pts
15
51 pts
25
40 pts
50
28 pts
100
20 pts
200
14 pts
400
10 pts
그래서 주당 답변 25개로 “이번 주 +8포인트”라고 보고하는 대시보드는 대부분 잡음을 보고하는 셈입니다. 여러 주에 걸친 추세선이나 여러 질문을 합친 값이 어떤 주간 증감보다 훨씬 믿을 만합니다.
답변은 완전히 독립적이지 않습니다
위 계산은 모든 답변이 독립적인 추출이라고 가정합니다. 실제로는 그렇지 않습니다. 같은 질문에 대한 반복 답변은 서로 상관되어 있어서, 질문 5개를 세 번씩 묻는 것은 서로 다른 질문 15개보다 정보가 적습니다. 몇 개를 반복하지 말고 서로 다른 구매자 질문 여러 개에 표본을 분산하고, 위 범위는 최선의 경우로 보세요.
실전 규칙
작은 표본은 “우리가 대화에 한 번이라도 등장하는가?”에 답하는 데 쓰고, “5포인트 올랐나?”에는 쓰지 마세요.
모든 가시성 점수 옆에 범위를, 최소한 표본 크기를 함께 보고하세요.
추세는 여러 기간에 걸쳐 판단하고, 변화를 읽기 전에 질문과 모델을 합쳐서 보세요.
하나를 반복하지 말고 서로 다른 구매자 질문을 많이 던지세요. 구매자 질문 생성기가 목록을 만드는 데 도움이 됩니다.
바로 이 때문에 우리의 추적 키워드는 고정된 질문 다섯 개를 실행마다 세 번씩 묻고, 방법론에서 모든 숫자 뒤의 표본을 볼 수 있습니다. 지표 자체의 공식은 AI 점유율 계산하는 법을 보세요.
인용하기
링크를 남기면 이 수치를 자유롭게 인용하고 차트로 만들어도 됩니다. 권장 인용 형식: Mentioned, “가시성을 재려면 AI 답변이 몇 개 필요할까? 오차 범위 계산,” 2026년 10월 25일, https://mentioned.at/learn/ai-visibility-margin-of-error. 데이터와 텍스트는 CC BY 4.0 라이선스로 공개됩니다.
