AI 크롤러를 차단하는 사이트는 어디일까? robots.txt 4,762개를 읽었습니다

핵심 결과

• 학습 크롤러는 AI 검색 크롤러보다 약 두 배 자주 차단됩니다. robots.txt의 14.8%가 GPTBot을, 13.4%가 ClaudeBot을 차단하는 반면, OAI-SearchBot은 6.0%, Claude-SearchBot은 5.4%입니다.
• 학습을 거부한 사이트 대부분은 AI 검색에는 남아 있습니다. GPTBot을 차단한 705개 사이트 중 421곳(60%)이 여전히 OAI-SearchBot을 허용합니다. ClaudeBot을 차단한 640곳 중 385곳(60%)이 여전히 Claude-SearchBot을 허용합니다.
• 사이트의 4.5%가 AI 검색 크롤러 세 가지를 모두 차단합니다(OAI-SearchBot, Claude-SearchBot, PerplexityBot). 이는 ChatGPT 검색, Claude, Perplexity가 인용할 페이지를 찾을 때 쓰는 크롤러를 막는 것입니다. 9.3%는 최소 하나를 차단합니다.
• 검색 차단의 상당수는 실수처럼 보입니다. OAI-SearchBot을 차단하는 284개 사이트 중 100곳(35%)은 그 이름을 한 번도 쓰지 않습니다. 포괄적인 User-agent: * 규칙이 차단하는 것입니다. 56개 사이트는 기본적으로 모든 크롤러를 차단하고 Googlebot만 허용합니다.
• 79.7%는 확인한 AI 크롤러 19종 중 어느 것도 차단하지 않으며, 113곳은 모두 차단합니다.
• 큰 사이트일수록 더 많이 차단합니다. 상위 1,000에서는 16.6%가 GPTBot을, 8.2%가 OAI-SearchBot을 차단하며, 그 아래에서는 각각 14.6%와 5.7%입니다.

학습 거부는 검색에 거의 영향을 주지 않습니다

주요 AI 기업은 모두 작업별로 별도의 크롤러를 운영하며, 각자 문서에 그렇게 밝히고 있습니다. OpenAI는 “each setting is independent of the others”라고 말합니다. GPTBot은 학습 데이터를 수집하고, OAI-SearchBot은 ChatGPT 검색에 무엇이 나올 수 있는지 결정합니다. Anthropic도 같은 방식으로 ClaudeBot과 Claude-SearchBot을 나누며(Claude 고객센터), Google-Extended는 Google 검색에 영향을 주지 않고 Gemini의 학습과 그라운딩을 제어합니다(Google Search Central).

사이트 운영자들은 이 신호를 이해했습니다. 한 회사의 학습 크롤러를 차단하는 사이트 대부분은 그 회사의 검색 크롤러는 유지합니다.

반대 경우는 거의 없습니다. GPTBot을 허용하면서 OAI-SearchBot을 차단하는 사이트는 0곳, Anthropic에 대해 같은 경우는 1곳입니다.

답변까지 닿는 거부가 하나 있습니다. Google-Extended는 학습뿐 아니라 Gemini의 그라운딩도 다루므로, 이를 차단한 579개 사이트(12.2%)는 Google 검색에는 남아 있으면서 Gemini 답변의 근거로 자기 페이지를 쓰지 말라고 Google에 요청한 셈입니다.

포괄 규칙의 문제

User-agent: * 규칙은 파일이 이름을 언급하지 않은 모든 크롤러에 적용됩니다. * 아래에 Disallow: /를 쓰고 Googlebot과 Bingbot을 이름으로 허용한 사이트는, 의도치 않게 모든 AI 검색 크롤러도 차단했을 수 있습니다. 전면 차단 사이트는 126곳이었고, 그중 56곳이 Googlebot을 허용하며, 그중 38곳은 OAI-SearchBot을 빼놓았습니다. 전면 차단 사이트 중 OAI-SearchBot을 예외로 명시한 곳은 18곳뿐입니다.

이렇게 해서 OAI-SearchBot 차단 284건 중 100건, Claude-SearchBot 차단 256건 중 108건이 봇 이름을 한 번도 쓰지 않은 채 일어납니다. AI 검색을 허용할 생각이었다면, 이 크롤러들이 생기기 전에 작성한 허용 목록부터 확인하세요.

AI 검색을 차단하는 곳

읽을 수 있었던 상위 200개 사이트 중 아래 사이트들은 홈페이지에서 OAI-SearchBot, Claude-SearchBot, PerplexityBot 중 최소 하나를 차단합니다.

목록은 소셜 네트워크와 대형 퍼블리셔가 대부분입니다. 대개 라이선스 사업이나 콘텐츠 계약을 지켜야 하는 사이트이지, 구매자에게 발견되고 싶은 브랜드가 아닙니다.

전체 표

robots.txt를 읽을 수 있는 4,762개 사이트 중 각 크롤러를 홈페이지에서 금지하는 비율(전체 및 Tranco 순위대별).

내 robots.txt는 어떻게 해야 할까

1. 학습과 검색을 따로 결정하세요. GPTBot이나 ClaudeBot을 차단해도 ChatGPT나 Claude 답변에서 빠지지 않지만, OAI-SearchBot, Claude-SearchBot, PerplexityBot을 차단하면 빠집니다.
2. User-agent: * 그룹을 읽어 보세요. 여기서 /를 금지하면 이름을 언급하지 않은 모든 AI 크롤러가 차단됩니다.
3. 저장소의 파일이 아니라 실제 서비스 중인 파일을 확인하세요. 표본 중 199개 사이트는 /robots.txt에 HTML 페이지를 반환하며, 크롤러는 이를 규칙이 없는 것으로 읽습니다.
4. 테스트하세요. AI 크롤러 검사기는 여기서 사용한 것과 같은 파서로 내 사이트를 점검하며, AI 크롤러와 robots.txt에는 답변 크롤러는 들이고 학습 크롤러는 막는 예시 파일이 있습니다.

방법과 한계

Tranco 목록 GQ3LK(Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic, Farsight의 2026년 9월 28일~10월 27일 데이터를 결합한 연구용 순위)의 상위 10,000개 도메인을 대상으로 했습니다. 2026년 10월 28일, 저희 크롤러가 각 도메인의 홈페이지를 HTTPS로 요청하고 리디렉션을 따라갔습니다. Tranco 항목 상당수는 웹사이트가 없는 CDN, API, 추적용 도메인으로, 2,155곳은 HTTP 응답이 전혀 없었고 1,415곳은 403을 반환했습니다. 홈페이지가 상태 200의 HTML 페이지를 반환한 5,480개 도메인을 남겼고, 리디렉션 후 최종 호스트 이름당 한 번씩 셌습니다. 그중 4,762곳이 분석 가능한 robots.txt를 제공했고, 405곳은 없었으며(4xx 응답, 즉 규칙 없음), 199곳은 HTML 페이지를 반환했고, 114곳은 실패하거나 5xx를 반환했습니다.

각 robots.txt는 저희 AI 크롤러 검사기의 RFC 9309 파서로 읽었습니다. 크롤러는 자신의 제품 토큰을 지정한 그룹을 따르고, 그런 그룹이 없을 때만 *를 따르며, 가장 길게 일치하는 규칙이 우선합니다. “차단”은 파일이 해당 크롤러에게 홈페이지 경로 /를 금지한다는 뜻이며, 완전한 거부는 이런 형태입니다. 일부 섹션만 차단하는 사이트는 허용으로 셉니다. 비율은 robots.txt를 읽을 수 있는 사이트 기준이며, 5,480개 사이트 전체 기준으로 보면 조금 더 낮습니다. 크롤러 목록과 역할은 검사기에서 링크한 각 운영자의 문서를 따랐습니다. Bytespider, Amazonbot, 폐기된 토큰 anthropic-ai도 많은 파일이 아직 언급하기 때문에 포함했습니다.

저희 크롤러는 Mentioned-Research/1.0으로 자신을 밝혔습니다. 알 수 없는 봇을 방화벽에서 거부하는 사이트는 표본에서 빠졌고, 그런 사이트는 아마 AI 크롤러에도 더 엄격할 것이므로, 여기의 차단 비율은 웹 전체의 추정치가 아니라 하한으로 보세요. robots.txt는 선호를 밝힐 뿐 크롤러가 이를 따르는지는 보여 주지 않으며, 일부 사이트는 이름을 지정한 크롤러에게 다른 파일을 제공할 수도 있습니다. 이는 하루치 스냅샷입니다.

인용하기

이 수치는 이 페이지로 링크를 걸어 자유롭게 인용하고 차트로 만들 수 있습니다. 권장 인용 표기: Mentioned, “Which Sites Block AI Crawlers? We Read 4,762 robots.txt Files,” 2026년 10월 28일, https://mentioned.at/learn/ai-crawler-blocking-study. 데이터와 본문은 CC BY 4.0으로 공개합니다.

질문

무료 체크 실행