robots.txt가 ChatGPT, Claude, Perplexity, Gemini 등 AI 크롤러의 페이지 읽기를 허용하는지 확인하세요. 크롤러별 판정과 그 판정을 결정한 정확한 줄을 보여줍니다.
입력한 호스트에서 robots.txt를 가져와, RFC 9309가 크롤러에게 요구하는 방식 그대로 읽습니다. 크롤러는 자기 이름이 적힌 그룹을 따르고, 이름이 적힌 곳이 없을 때만 User-agent: *로 돌아갑니다. 그 그룹 안에서는 가장 길게 일치하는 규칙이 이깁니다. 파일이 없으면 모든 페이지가 허용된 것입니다. 파일에서 오류가 나면 모든 페이지가 차단된 것입니다.
방화벽, CDN 봇 설정, noindex 태그는 확인하지 않습니다. 페이지 단위 신호는 구조화 데이터 체커를 사용하세요.
대부분의 AI 회사는 크롤러를 둘 이상 운영하고, 하는 일이 서로 다릅니다. 하나를 차단해도 나머지는 차단되지 않습니다.
B2B 사이트에서 보통 던질 질문은 “AI를 차단해야 할까?”가 아니라 “인용 여부를 좌우하는 봇을 실수로 막고 있지는 않을까?”입니다. 스테이징 사이트에서 넘어온 User-agent: * / Disallow: / 전체 차단 설정이 바로 그렇게 만듭니다. AI 크롤러와 robots.txt 가이드에서 선택지를 하나씩 짚어 드립니다.
| 토큰 | 운영사 | 하는 일 |
|---|---|---|
OAI-SearchBot | OpenAI | ChatGPT 검색. 문서 |
ChatGPT-User | OpenAI | ChatGPT 사용자를 위해 가져옴. robots.txt가 적용되지 않을 수 있음 |
GPTBot | OpenAI | 모델 학습 |
Claude-SearchBot | Anthropic | Claude의 검색 결과. 문서 |
Claude-User | Anthropic | Claude 사용자를 위해 가져옴 |
ClaudeBot | Anthropic | 모델 학습 |
PerplexityBot | Perplexity | Perplexity의 답변용이며 학습용이 아님. 문서 |
Perplexity-User | Perplexity | 사용자를 위해 가져옴. 일반적으로 robots.txt를 무시함 |
Googlebot | AI Overviews와 AI Mode를 포함한 검색. 문서 | |
Google-Extended | 토큰: Gemini 학습과 그라운딩용이며 검색과는 무관. 문서 | |
Bingbot | Microsoft | Bing 검색. 문서 |
meta-webindexer | Meta | Meta AI 검색 결과. 문서 |
meta-externalagent | Meta | 모델 학습과 인덱싱 |
Applebot-Extended | Apple | 토큰: Apple 모델 학습. 문서 |
Amzn-SearchBot | Amazon | Alexa 같은 Amazon 제품의 검색. 문서 |
DuckAssistBot | DuckDuckGo | DuckDuckGo의 AI 보조 답변. 문서 |
MistralAI-User | Mistral | Mistral 사용자를 위해 가져옴. 문서 |
CCBot | Common Crawl | 많은 모델이 학습에 쓰는 오픈 웹 아카이브. 문서 |
용도는 각 운영사의 공식 문서에서 2026년 10월 24일에 확인한 내용입니다. 운영사는 크롤러를 추가하고 이름을 바꾸므로, 운영 중인 robots.txt를 바꾸기 전에 해당 페이지를 확인하세요.
ChatGPT 검색에서는 사라지지 않습니다. OpenAI는 GPTBot을 모델 학습용 크롤러로, OAI-SearchBot을 사이트가 ChatGPT 검색 답변에 나올 수 있는지를 정하는 크롤러로 문서화합니다. GPTBot은 차단하고 OAI-SearchBot은 허용하는 것이 흔한 설정입니다. 학습에서는 빠지고, 인용 대상에는 그대로 남습니다.
아니요. Google은 Google-Extended가 Gemini가 내 콘텐츠로 학습하거나 답변의 근거로 삼을 수 있는지를 정하며, Google 검색에는 영향을 주지 않는다고 밝힙니다. AI Overviews와 AI Mode는 검색의 일부이므로 같은 제어를 따릅니다. robots.txt의 Googlebot, 그리고 페이지의 noindex와 nosnippet입니다.
여기 나열된 검색·학습 크롤러의 운영사는 자사 크롤러가 따른다고 말합니다. 사용자를 대신해 동작하는 페이지 가져오기는 다릅니다. OpenAI는 robots.txt 규칙이 ChatGPT-User에 적용되지 않을 수 있다고 하고, Perplexity는 사람이 그 페이지를 요청했기 때문에 Perplexity-User는 일반적으로 규칙을 무시한다고 합니다.
크롤링이 가능하다는 것은 첫걸음일 뿐입니다. 어시스턴트가 나를 추천하는지는 내 카테고리에 대해 무엇을 읽었는지, 어떤 사이트를 신뢰하는지, 구매자가 묻는 질문과 함께 내가 얼마나 자주 나오는지에 달려 있습니다. 무료 체크를 실행해서 현재 위치를 확인하세요.
대개 robots.txt가 로드되지 않았기 때문입니다. RFC 9309는 서버 오류를 받거나 응답이 없는 크롤러는 파일을 읽을 수 있을 때까지 사이트 전체가 출입 금지라고 가정해야 한다고 규정합니다. /robots.txt가 일반 텍스트로 200을 반환하는지 확인하세요.
아니요. 크롤러가 따르도록 요청받는 robots.txt를 읽습니다. 방화벽, CDN, 봇 방어 규칙은 robots.txt와 상관없이 크롤러를 막을 수 있습니다. robots.txt 자체에서 403이 나오면 체커가 그렇게 알려주는데, 봇이 아무것도 읽기 전에 거부되고 있다는 뜻일 때가 많기 때문입니다.
크롤러가 내 페이지를 읽을 수 있는 것은 필요조건이지 충분조건이 아닙니다. 팀이 받는 질문은 구매자가 후보 목록을 물을 때 ChatGPT, Claude, Gemini가 나를 추천하는지, 대신 누구를 언급하는지입니다. Mentioned가 측정하는 것이 바로 그것입니다. 매주 같은 구매자 질문, 전체 답변, 무엇을 고칠지 순위가 매겨진 목록입니다.