AI 크롤러와 robots.txt: 어떤 봇을 허용할까

짧은 답. AI 어시스턴트에게 추천받고 싶다면 검색 크롤러를 허용하세요. ChatGPT는 OAI-SearchBot, Claude는 Claude-SearchBot, Perplexity는 PerplexityBot, 그리고 어시스턴트가 참고하는 검색 엔진용 Googlebot과 Bingbot입니다. GPTBot, ClaudeBot 같은 학습 크롤러를 허용할지는 앞으로의 모델에 관한 별개의 결정입니다. 지금 인용될 수 있는지는 그 결정에 달려 있지 않습니다.

AI 크롤러의 세 가지 종류

운영사들의 공식 문서를 읽어 보면 크롤러는 세 그룹으로 나뉩니다.

검색 크롤러: 인용될 수 있는지를 좌우

어시스턴트가 대화 중에 검색할 때 찾을 수 있도록 페이지를 색인합니다. OpenAI는 OAI-SearchBot을 거부한 사이트는 ChatGPT 검색 답변에 나타나지 않는다고 밝힙니다. Anthropic은 Claude-SearchBot을 끄면 Claude 검색 결과에서의 노출이 줄 수 있다고 합니다. Perplexity는 PerplexityBot이 답변에 사이트를 노출하고 링크하며 학습에는 쓰이지 않는다고 설명합니다. Meta의 meta-webindexer는 Meta AI에서 같은 역할을 합니다.

Google과 Microsoft는 이 용도의 별도 크롤러를 운영하지 않습니다. Google은 AI Overviews와 AI Mode가 Search와 같은 제어를 쓴다고 하므로, 여기서 중요한 것은 Googlebot입니다.

사용자 fetcher: 사람이 요청했을 때

ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User는 대화 중 누군가 해당 페이지에 대해 묻거나 링크를 붙여 넣었을 때 그 페이지를 엽니다. OpenAI는 ChatGPT-User에는 robots.txt 규칙이 적용되지 않을 수 있다고 하고, Perplexity는 사람이 페이지를 요청한 것이므로 Perplexity-User는 대체로 규칙을 무시한다고 합니다. Anthropic은 Claude-User를 포함한 자사 크롤러가 robots.txt를 따른다고 밝힙니다.

학습 크롤러와 토큰: 미래의 모델

GPTBot, ClaudeBot, meta-externalagent, Common Crawl의 CCBot은 모델 학습에 쓰일 수 있는 페이지를 수집합니다. 이 목록에는 크롤러가 아닌 항목이 두 개 있습니다. Google-Extended는 Googlebot이 이미 가져온 페이지를 Gemini가 학습과 그라운딩에 쓸 수 있는지를 제어하며, Google은 Search에는 영향이 없다고 밝힙니다. Applebot-Extended는 Applebot이 가져온 내용으로 Apple이 학습할 수 있는지를 제어합니다.

각각을 차단하면 무엇이 달라질까

2026년 10월 24일에 확인한 각 운영사의 문서 기준: OpenAI, Anthropic, Perplexity, Google, Meta, Apple, Common Crawl.

인용되고 싶은 B2B 사이트를 위한 robots.txt

모든 검색 및 답변 크롤러를 허용하고, 비공개 경로는 그대로 지키며, 학습 여부는 명시적으로 정해 둔 설정입니다. 공개 페이지가 학습에 쓰여도 괜찮다면 마지막 그룹은 지우세요.

# Everyone: crawl the public site, not the app
User-agent: *
Disallow: /app/
Disallow: /admin/

# AI search and answer crawlers: same rules, named so nobody
# "tidies" them into a block later
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: meta-webindexer
Disallow: /app/
Disallow: /admin/

# Training: opt out (optional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

헷갈리기 쉬운 규칙이 하나 있습니다. 크롤러는 자신의 이름이 적힌 그룹만 따릅니다. OAI-SearchBot에 별도 그룹을 주면 User-agent: * 아래의 규칙은 모두 무시하므로, 위 예시처럼 비공개 경로를 다시 적어야 합니다.

흔한 실수

• 운영 환경에 올라간 스테이징용 robots.txt. User-agent: * / Disallow: /는 규칙을 지키는 모든 크롤러를 막습니다. 검색 크롤러도 포함됩니다.
• robots.txt 자리에 홈페이지가 응답되는 경우. 싱글 페이지 앱은 모르는 경로마다 앱 화면을 돌려주는 일이 많습니다. 크롤러는 그것을 읽고 규칙이 없다고 판단해 막으려던 경로까지 전부 허용합니다.
• 오류가 나는 robots.txt. RFC 9309는 서버 오류를 받은 크롤러가 파일이 로드될 때까지 사이트 전체를 차단된 것으로 취급해야 한다고 정합니다.
• “ChatGPT에서 빠지려고” GPTBot을 차단하는 것. 그건 학습만 거부하는 것입니다. ChatGPT 검색을 좌우하는 것은 OAI-SearchBot입니다.
• robots.txt가 허용한 것을 막는 방화벽. CDN의 봇 방어가 AI 크롤러를 읽기도 전에 돌려보낼 수 있습니다. robots.txt 요청에 403이 돌아온다면 이것이 원인일 가능성이 큽니다.

AI 크롤러 체커는 RFC가 크롤러에게 요구하는 방식 그대로 robots.txt를 읽고, 크롤러 18종의 판정과 각 판정을 결정한 줄을 보여 줍니다.

크롤할 수 있다고 해서 추천받는 것은 아닙니다

검색 크롤러를 들여보내면 인용될 자격이 생깁니다. 하지만 구매자가 후보 목록을 물을 때 어시스턴트가 당신을 고른다는 뜻은 아닙니다. 그것은 모델이 해당 카테고리에 대해 이미 아는 것, 어떤 출처를 신뢰하는지, 그리고 페이지가 실제로 던져진 질문에 답하는지에 달려 있습니다. 다음 단계는 ChatGPT, Claude, Gemini가 지금 무엇이라고 말하는지 확인하는 것입니다. 무엇이 결과를 움직이는지는 언급되는 법 가이드를 보세요.

질문

무료 체크 실행   robots.txt 확인하기 →