GPTBot은 의미가 모호하지 않은 AI 크롤러 이름 중 가장 많이 검색됩니다. 전 세계 월 1,900회입니다.
ByteDance의 Bytespider는 GPTBot의 84% 수준의 검색 관심(월 1,600회)을 받습니다. 어떤 검색 크롤러보다도 많습니다.
구분할 수 있었던 학습 지향 크롤러 4종(GPTBot, Bytespider, CCBot, Meta-ExternalAgent)은 전 세계 월 5,500회 검색됩니다. AI 검색 크롤러 4종(OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot)은 2,000회입니다. 인용 가능 여부를 좌우하는 봇이 받는 관심은 2.8배 적습니다.
사용자 요청형 fetcher(ChatGPT-User, Claude-User, Perplexity-User)는 거의 검색되지 않습니다. 합쳐서 월 190회입니다.
이 15개 이름에서 미국 검색은 17%에 불과합니다. AI 크롤러 관리는 전 세계적인 관심사입니다.
데이터
User agent
운영사 · 역할
미국 / 월
전 세계 / 월
GPTBot
OpenAI · 학습
350
1,900
Bytespider
ByteDance · 크롤러
200
1,600
OAI-SearchBot
OpenAI · 검색
200
1,100
CCBot
Common Crawl · 학습 코퍼스
150
1,000
Meta-ExternalAgent
Meta · 학습
150
1,000
Amazonbot
Amazon
150
800
PerplexityBot
Perplexity · 검색
80
500
Google-Extended
Google · Gemini 학습/그라운딩 토큰
80
450
Claude-SearchBot
Anthropic · 검색
50
250
ChatGPT-User
OpenAI · 사용자 요청형 fetch
40
150
DuckAssistBot
DuckDuckGo · 답변
30
150
Applebot-Extended
Apple · 학습 토큰
30
100
anthropic-ai
Anthropic · 레거시 토큰
10
80
Claude-User
Anthropic · 사용자 요청형 fetch
10
20
Perplexity-User
Perplexity · 사용자 요청형 fetch
10
20
ClaudeBot 문제
“claudebot”은 미국 월 4,700회, 전 세계 월 14,000회 검색되어 압도적으로 가장 많이 검색된 크롤러가 될 수 있습니다. 하지만 Ahrefs가 이 키워드를 상위 주제 “claude” 아래에 분류하고 있어 표에서는 뺐습니다. 이 검색의 상당수는 Anthropic의 크롤러가 아니라 Claude 챗봇을 찾는 사람들일 가능성이 큽니다. 이 숫자는 발견이 아니라 상한선으로 보세요.
이 격차가 중요한 이유
GPTBot 같은 학습 크롤러를 차단하면 페이지가 앞으로의 모델 학습에서 빠질 뿐, ChatGPT의 실시간 검색 답변에서 사라지는 것은 아닙니다. 실시간 인용을 좌우하는 크롤러인 OAI-SearchBot, Claude-SearchBot, PerplexityBot은 관심을 거의 받지 못합니다. 위험한 경우는 GPTBot에 대한 글을 읽고 넓은 범위의 차단 규칙을 적었다가 검색 크롤러까지 함께 꺼 버리는 사이트 운영자입니다. AI 크롤러와 robots.txt 가이드에는 각 운영사가 자사 봇을 차단하면 무엇이 달라진다고 밝혔는지 공식 문서 링크와 함께 정리해 두었습니다. 무료 AI 크롤러 체커로는 현재 robots.txt가 어떤 크롤러를 허용하는지 확인할 수 있습니다.
차단에 관한 검색은 적습니다. “block ai crawlers”는 미국에서 월 약 70회, “block gptbot”은 약 40회 검색됩니다. 봇 이름을 검색하는 사람 대부분은 차단을 결정하기 전에 그 봇이 무엇인지부터 알고 싶어 하는 것으로 보입니다.
방법과 한계
검색량은 Ahrefs Keywords Explorer가 추정한 월평균 검색 횟수이며, 2026년 10월 25일 SiteWide 커넥터로 가져왔습니다. Google이 직접 집계한 수치가 아니라 모델링된 추정치이고 Ahrefs가 반올림한 값입니다. KD는 Ahrefs의 키워드 난이도(0–100)입니다. CPC는 미국에서 광고주가 클릭당 지불하는 금액에 대한 Ahrefs의 추정치입니다. 역할 표기는 각 운영사가 문서에 밝힌 내용을 요약한 것이며, 출처는 링크된 가이드를 참고하세요. 검색 관심은 호기심을 나타낼 뿐 크롤 횟수나 트래픽이 아닙니다. 봇이 활발히 크롤해도 거의 검색되지 않을 수 있습니다.
인용하기
링크를 남기면 이 수치를 자유롭게 인용하고 차트로 만들어도 됩니다. 권장 인용 형식: Mentioned, “사이트 운영자는 어떤 AI 크롤러를 검색할까? 봇 16종 검색 데이터,” 2026년 10월 25일, https://mentioned.at/learn/ai-crawler-search-demand. 데이터와 텍스트는 CC BY 4.0 라이선스로 공개됩니다.
