AI 어시스턴트에게 “카테고리 X의 모든 업체를 관련도 순으로 나열해 줘”라고 묻는 사람은 없습니다. 실제 구매자는 아는 것이 많은 친구에게 묻듯 묻습니다. “5명 팀에 가장 좋은 프로젝트 관리 도구가 뭐예요?”, “오스틴의 괜찮은 피클볼 클럽을 추천해 줄 수 있어요?”, “우리 동네에서 평점이 가장 높은 강아지 미용사가 누구예요?” 이런 질문은 짧고 대화체이며 구체적인 상황을 중심으로 표현되고, 결정적으로 특정 브랜드 이름을 언급하지 않습니다. 구매자는 아직 어떤 브랜드를 물어봐야 할지 모르기 때문입니다. 그것이 이 질문의 핵심입니다. 확인이 아니라 발견입니다.
이것이 중요한 이유는, 내 브랜드 이름을 ChatGPT에 입력하고 “Acme Co.에 대해 알려줘”라고 묻는 것과는 근본적으로 다른 테스트이기 때문입니다. 그 질문은 모델이 내가 누구인지 아는지만 테스트합니다. 유도 없이도 모델이 내 이름을 말했을지는 테스트하지 못하는데, 신규 고객 확보에서 실제로 중요한 것은 바로 그 상황입니다.
프롬프트 하나가 믿을 만한 테스트가 아닌 이유
AI 모델은 설계상 비결정적입니다. 같은 질문을 두 번 하면 다른 조건이 하나도 바뀌지 않았어도 서로 다른 답이 나올 수 있고, 때로는 언급되는 브랜드 구성도 달라집니다. 프롬프트 하나로 테스트해서 좋은 결과가 나왔다면, 모델이 한 번 내 이름을 말했다는 것을 알게 된 것뿐입니다. 나쁜 결과가 나왔다면, 한 번 말하지 않았다는 것을 알게 된 것뿐입니다. 어느 쪽도 실제 구매자 분포가 실제 질문 분포를 던졌을 때 무엇을 보게 될지는 많이 알려주지 않습니다.
같은 의도가 표현되는 방식에도 실제로 편차가 있습니다. 급한 사람은 “best pickleball club austin”이라고 입력합니다. 더 신중한 사람은 “오스틴에서 피클볼 클럽을 찾고 있는데, 어디를 고려해야 할까요?”라고 씁니다. 비교하며 쇼핑하는 사람은 “어떤 피클볼 클럽을 고르겠어요? 이유도 알려주세요”라고 묻습니다. 같은 구매 의도가 다른 말을 입은 것이고, 한 표현에서 나오는 브랜드가 다른 표현에서는 안 나올 수 있습니다. 모델이 그 특정한 틀에서 정보를 어떻게 가져오고 가중하느냐에 달려 있습니다.
Mentioned가 1개가 아니라 5개 질문을 테스트하는 이유
Mentioned가 프롬프트 하나만 실행하지 않는 이유가 바로 이것입니다. 브랜드와 카테고리를 입력하면 Claude에게 그 카테고리의 현실적인 구매자 질문 5개를 만들게 합니다. 실제 사람이 검색하는 방식으로 표현하고, 내 브랜드 이름은 절대 넣지 않아서 유도하지 않고 자연스러운 테스트가 되게 합니다. 그리고 5개 모두를 각 모델(무료 체크에서는 Claude, ChatGPT, Gemini)에 독립적으로, 병렬로 보냅니다. 서로 공유하는 컨텍스트는 없고, 각각 새 대화입니다. 마치 구매자 5명이 각자 자기 질문을 하는 것과 같습니다. 점수는 5개 중 내 이름을 언급한 답변이 몇 개인지일 뿐입니다. 가중 추정치도 신뢰구간도 아니고, 구매자가 물을 수 있는 현실적인 여러 방식에서 실제로 일어난 일을 그대로 센 값입니다.
어떤 이유로든 질문 생성이 실패하면, Mentioned는 체크를 건너뛰거나 결과를 짐작하는 대신 고정된 중립 템플릿(“What are the best {category}?”, “Can you recommend a good {category}?” 등)으로 대체합니다. 자세한 내용은 방법론 페이지를 참고하세요.
질문 5개로 볼 수 있지만 프롬프트 하나로는 볼 수 없는 것
일관성 vs. 운. 5개 중 5개에 나오는 것은 1개 중 1개에 나오는 것보다 훨씬 강한 신호입니다. 특정 표현에서 우연히 나온 것이 아니라, 모델이 나를 그 카테고리와 꾸준히 연결한다는 뜻입니다.
강한 곳 vs. 보이지 않는 곳. “평점 높은” 표현에서는 나오는데 “초보자에게 가장 좋은” 표현에서는 나오지 않는다면, 지금 어떤 구매자 세그먼트가 나를 알고 어떤 세그먼트가 모르는지에 대한 유용한 정보입니다.
실제로 누가 앞서는가. 내가 나오지 않으면 Mentioned는 모델이 실제로 언급한 다른 브랜드 같은 이름들을 가져오므로, 졌다는 사실만 아는 것이 아니라 그 질문에서 누가 이기고 있는지 볼 수 있습니다.
내 카테고리의 질문 세트 초안을 만들려면 무료 구매자 질문 생성기가 의도별로 써 줍니다. 후보 목록, 문제부터, 전환, 평가, 연동입니다.
단일 답변이 아니라 범위로 생각하기
실용적인 결론은 이렇습니다. AI 가시성을 이해하려 한다면 프롬프트 하나로 테스트하고 그 결과를 어느 방향으로든 최종으로 받아들이지 마세요. 현실적인 변형을 여러 개 묻고, 그 사이에 어느 정도 편차가 있을 것을 예상하고, 하나의 답변이 아니라 패턴을 보세요. 운 좋은(또는 운 나쁜) 프롬프트 하나가 줄 수 있는 것보다 구매자가 실제로 보는 것에 더 가까운 그림입니다.
