AI 가시성 숫자를 CMO 앞에 내놓기 전에, 그 숫자가 어디서 나오는지 알아야 합니다. 이 페이지가 방법 전체입니다. 일회성 체크, 주간 추적, 세 가지 지표, 발견 사항의 순위 매기기까지. 숨긴 것도, 손으로 보정한 것도 없습니다.
브랜드와 카테고리를 입력합니다. 예를 들어 “B2B 영업팀을 위한 CRM” 같은 것입니다. Mentioned는 Claude에게 구매자가 그 카테고리에서 추천을 찾을 때 입력할 질문 5개를 쓰게 합니다. 마케터의 말투가 아니라 사람이 실제로 묻는 방식으로 씁니다. 질문에는 브랜드 이름이 들어가지 않으므로, 유도한 추천이 아니라 아무 힌트 없이 나온 추천을 측정합니다. 어떤 이유로든 질문 작성이 실패하면, Mentioned는 추측하거나 체크를 건너뛰지 않고 중립적인 고정 템플릿으로 대체합니다.
5개 질문은 선택한 모델마다 병렬로, 각각 별도의 대화로 전송됩니다. 대화 사이에 공유되는 맥락도 없고, 어떤 브랜드를 테스트하는지에 대한 힌트도 없습니다. 서로 다른 구매자 다섯 명이 서로 다른 질문을 하는 것과 비슷합니다. Claude, ChatGPT, Gemini는 저희 키로 실행됩니다. DeepSeek, Llama 3.3, Perplexity는 직접 입력한 API 키로 실행됩니다.
매처는 브랜드 이름과 답변을 모두 글자와 숫자로만 줄여서 비교하므로 띄어쓰기나 문장부호 때문에 매칭이 깨지지 않고, 악센트도 접어서 “Nestlé”와 “Nestle”가 둘 다 인정됩니다. 그런 다음 매칭이 원문에서 단어 경계에 놓일 것을 요구합니다. 이 규칙이 없으면 “generally”가 “Rally”라는 브랜드의 언급으로 세어질 것입니다.
영숫자 부분이 두 글자 미만인 브랜드(“C++”)는 글자 그대로 매칭합니다. 기댈 것이 없는 한 글자(“X”, “R”)는 추측하지 않고 매칭하지 않습니다. 대명사와 믿을 만하게 구분할 방법이 없기 때문입니다.
매칭이 있으면 Mentioned는 그 문장을 결과에 보이는 인용문으로 보관합니다. 모델의 출력에서 그대로 복사하며 다시 쓰지 않습니다. 저장된 답변의 강조 표시는 실행 점수를 매긴 것과 같은 매처를 쓰므로, 강조 표시가 점수와 어긋날 수 없습니다.
내 브랜드가 나오지 않으면 Mentioned는 답변에서 다른 브랜드 이름을 뽑아냅니다. 대개 굵게 쓴 이름이나 번호 또는 글머리 목록의 항목입니다. 그리고 “가장 좋은 옵션” 같은 일반적인 표현이 경쟁사로 세어지지 않도록 걸러냅니다. 휴리스틱이라 이름을 놓칠 수는 있지만, 텍스트에 없는 경쟁사를 만들어 넣는 일은 없습니다.
점수는 모델별로 5개 답변 중 몇 개가 내 브랜드를 언급했는지입니다. 가중치도, 보정도 없습니다. 3/5는 독립된 답변 5개 중 3개에 브랜드가 나왔다는 뜻입니다.
일회성 체크는 매번 새 질문을 씁니다. 스냅샷에는 맞지만 추세에는 틀립니다. 월요일마다 질문이 바뀌면 3/5에서 1/5로 떨어진 점수에 “가시성을 잃었다”와 “더 어려운 질문을 했다”가 섞여 버립니다.
그래서 키워드를 추적하면 다섯 개 질문은 만들 때 한 번만 쓰고, 이후 모든 실행에서 한 글자도 바꾸지 않고 그대로 묻습니다. 선이 움직이면 가시성이 움직인 것입니다. 제품에서 가장 중요한 설계 결정입니다.
추적 키워드는 저희 키로 Claude와 Gemini에서 매주 실행됩니다. Pro에는 저희 키로 매일 실행 슬롯 3개, Agency에는 10개가 포함됩니다. 그 밖에는 키워드가 묻는 모든 모델에 대해 계정에 직접 입력한 API 키가 저장되어 있을 때만 매일 실행할 수 있습니다. 매일 실행은 저희 키가 아니라 여러분의 키를 쓰기 때문입니다. 이 확인은 일정을 설정할 때와 실행이 시작될 때 모두 이루어지므로, 나중에 키를 삭제하면 키워드는 매주 실행으로 돌아갑니다.
각 지표는 모델이 실제로 반환한 것을 세고, 모든 행은 근거가 된 전체 답변으로 연결됩니다. 측정할 수 없는 수치는 0이 아니라 대시와 그 이유를 설명하는 문장으로 표시됩니다. “아무도 내 이름을 언급하지 않았다”와 “아직 아무것도 실행되지 않았다”는 다른 발견이며, Mentioned는 하나를 다른 하나로 보여 주지 않습니다.
감정 분석은 모델의 의견이 아니라 단어 수 세기입니다. Mentioned는 브랜드 이름이 나온 문장을 가져와 그 안에 있는 칭찬 단어와 비판 단어(목록에 있는 것)를 세고(부정 표현도 처리), 어느 쪽이 더 많은지에 따라 문장을 긍정, 부정, 중립으로 판정합니다. 전체 단어 목록은 화면에 있고, 각 단어가 얼마나 자주 해당되었는지와 어떤 문장에서 해당되었는지도 함께 보여서 어떤 판정이든 한 번의 클릭으로 확인할 수 있습니다.
풍자는 놓치고, 목록에 없는 단어로 표현한 칭찬도 놓칩니다. 목록 전체를 보여 주는 것이 그 대가입니다. 모델에게 만들어 내라고 한 감정 점수는 이런 식으로 확인할 수 없습니다.
액션 화면은 계정에 이미 있는 실행 결과를 읽어 여덟 종류의 발견 사항을 나열합니다. 모델 사각지대, 프롬프트 사각지대, 가시성 하락, 앞서가는 경쟁사, 내가 아닌 경쟁사가 인용된 경우, 약한 주제, 한 번도 실행되지 않은 키워드, 마지막 실행이 실패한 키워드입니다. 각 발견 사항은 위험에 처한 답변 수로 순위가 매겨집니다. 격차(퍼센트포인트)에 그 격차가 포함하는 저장된 답변 수를 곱한 값입니다. 모든 행은 이미 다른 화면에 있는 측정값을 다시 보여 주며 그 화면으로 바로 연결되고, 목록은 말없이 잘라내지 않고 제외한 발견 사항이 몇 개인지 알려 줍니다.
각 발견 사항 아래에는 접힌 플레이북에 그런 종류의 격차에 대한 일반적인 해결책이 있습니다. 조언이라고 표시되어 있으며, 어떤 숫자나 CSV, API, MCP 도구에도 들어가지 않습니다.
모든 체크는 실제 API 비용이 듭니다. 익명 체크가 없는 이유, 무료 계정이 자체 키가 필요해지기 전까지 저희 키로 체크 3회를 받는 이유, 모든 것 위에 하루 300회 전체 한도가 있는 이유가 이것입니다. 주간 실행은 월 달러 예산에 대해 실제 토큰 수로 계량됩니다. 이번 달 예산으로 감당할 수 없는 키워드는 실패가 아니라 보류됩니다. 정상적인 키워드에 빨간 표시를 남기는 것은 잘못이므로 아무것도 기록하지 않습니다.
저절로 풀릴 수 있는 방식(속도 제한, 타임아웃, 제공업체 장애)으로 실패한 요청은 제공업체가 알려 주는 재시도 안내에 따라 다시 시도합니다. 거부된 키나 잘못된 요청은 재시도해도 해결되지 않으므로 다시 시도하지 않습니다. 실패한 실행은 숨기지 않고 기록하며, 일정은 마지막 성공한 실행을 기준으로 읽으므로 요청 하나가 타임아웃되었다고 키워드가 일주일 동안 멈추지 않습니다.
이 방법론은 팀이 숫자를 믿고 행동할 수 있도록 존재합니다. 실제로는 이런 흐름입니다.