상위 4,762개 사이트의 robots.txt 오류와 새 지시어

핵심 결과

• robots.txt 파일의 3.7%에 RFC 9309상 크롤러가 무시하는 줄이 있습니다: 알 수 없는 지시어, 앞 슬래시가 없는 경로, 콜론이 없는 줄, 어떤 User-agent보다도 앞에 있는 규칙입니다.
• Cloudflare의 새로운 AI 사용 지시어인 Content-Signal이 이미 파일의 4.7%에 있습니다(224개). 그중 161개가 ai-train=no, 223개가 search=yes입니다.
• 12.2%가 아직 Crawl-delay를 설정합니다. Google은 이를 지원하지 않는다고 말합니다. Anthropic은 따른다고 말합니다.
• 24개 파일이 아직 Noindex를 씁니다. Google 파서가 무시하는 줄입니다.
• 70.9%가 사이트맵을 선언합니다. 모든 주요 검색 엔진이 읽는 유일한 비규칙 줄입니다.
• 199개 사이트가 /robots.txt에 HTML 페이지를 반환하고, 6곳은 파일 안에 HTML이 붙여 넣어져 있습니다.

아무 일도 하지 않는 줄

robots.txt 표준인 RFC 9309는 user-agent, allow, disallow를 정의합니다. Google은 sitemap을 더하고, “other fields such as crawl-delay aren’t supported”이며 그 외 규칙은 자사 파서가 무시한다고 말합니다(Google Search Central). 저희 파서는 RFC를 따르면서 널리 쓰이는 crawl-delay, host, clean-param도 받아들입니다. Content-Signal을 제외하면, 건너뛴 것은 다음과 같습니다.

알 수 없는 지시어는 표준이 되지 못한 아이디어의 기록입니다. Content-Signal 외에 가장 흔한 것은 Noindex(24개 파일), LLMs, LLM-policy, Agentmap 같은 AI 관련 창작물(각각 10, 8, 8개 파일), 그리고 오래된 Request-rate와 Visit-time이었습니다. robots.txt에서 llms.txt를 가리키는 줄은 해롭지 않지만, 저희가 아는 어떤 크롤러도 그 위치에서 이를 읽지 않습니다.

콜론이 없는 줄은 대개 전혀 다른 것이었습니다. 6개 파일에서는 웹 페이지의 HTML이나 CSS가 robots.txt 안에 들어가 있었습니다.

Content-Signal: AI 사용을 위한 새 줄

Cloudflare의 Content Signals는 사이트 콘텐츠를 무엇에 쓸 수 있는지 밝히는 줄 하나를 robots.txt에 추가합니다. search(검색 색인을 만들고 링크와 짧은 발췌를 반환), ai-input(검색 증강이나 그라운딩처럼 답변 시점에 콘텐츠를 모델에 넣음), ai-train(모델 학습이나 미세 조정)입니다. Cloudflare는 이것이 크롤러가 무시할 수 있는 선호라고 분명히 합니다. 표본에서는 다음과 같았습니다.

이 패턴은 사이트들이 크롤러 규칙으로 하는 것과 일치합니다. 검색에는 yes, 학습에는 no, 그리고 AI 답변에 대해서는 대부분 yes라고 하거나 아무 말도 하지 않습니다. AI 답변에서 인용되는 것을 다루는 신호인 ai-input을 거부한 곳은 224곳 중 10곳뿐입니다. 저희 파서는 이를 도입하지 않은 다른 크롤러처럼 이 줄을 알 수 없는 것으로 처리하며, 위의 오류 집계에서는 제외했습니다.

내 파일 정리하기

1. Noindex와 Google이 지원하지 않는다고 밝힌 모든 것을 지우세요. 페이지를 결과에서 빼려면 페이지에 noindex 메타 태그를 쓰고, 크롤러가 그 태그를 볼 수 있도록 가져가게 두세요.
2. 모든 경로를 /로 시작하고, 모든 규칙을 User-agent 줄 아래에 두세요.
3. 서비스 중인 파일을 가져와 홈페이지가 아니라 일반 텍스트인지 확인하세요.
4. 각 AI 크롤러가 무엇을 할 수 있는지 확인하세요. AI 크롤러 검사기는 무시한 모든 줄과 그 이유를 나열합니다. 크롤러 자체에 대해서는 AI 크롤러를 차단하는 사이트를 보세요.

방법과 한계

Tranco 목록 GQ3LK(Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic, Farsight의 2026년 9월 28일~10월 27일 데이터를 결합한 연구용 순위)의 상위 10,000개 도메인을 대상으로 했습니다. 2026년 10월 28일, 저희 크롤러가 각 도메인의 홈페이지를 HTTPS로 요청하고 리디렉션을 따라갔습니다. Tranco 항목 상당수는 웹사이트가 없는 CDN, API, 추적용 도메인으로, 2,155곳은 HTTP 응답이 전혀 없었고 1,415곳은 403을 반환했습니다. 홈페이지가 상태 200의 HTML 페이지를 반환한 5,480개 도메인을 남겼고, 리디렉션 후 최종 호스트 이름당 한 번씩 셌습니다. 그중 4,762곳이 분석 가능한 robots.txt를 제공했고, 크기 중앙값은 600바이트였습니다.

파일은 크롤러가 건너뛸 모든 줄을 보고하는 저희 AI 크롤러 검사기의 RFC 9309 파서로 분석했습니다. 지시어 집계는 주석을 제외하고 각 필드를 한 번 이상 포함한 파일의 비율입니다. 다른 파서는 일부에서 더 관대하므로(Google 파서는 저희처럼 일부 오타를 받아들임), 표시된 줄은 엄격한 리더가 무시하는 줄일 뿐 모든 크롤러가 무시한다는 증거는 아닙니다. 저희 크롤러는 Mentioned-Research/1.0으로 자신을 밝혔습니다. 알 수 없는 봇을 방화벽에서 거부하는 사이트는 표본에서 빠졌고, 그런 사이트는 아마 AI 크롤러에도 더 엄격할 것이므로, 여기의 차단 비율은 웹 전체의 추정치가 아니라 하한으로 보세요.

인용하기

이 수치는 이 페이지로 링크를 걸어 자유롭게 인용하고 차트로 만들 수 있습니다. 권장 인용 표기: Mentioned, “robots.txt Mistakes and New Directives in 4,762 Top Sites,” 2026년 10월 28일, https://mentioned.at/learn/robots-txt-errors. 데이터와 본문은 CC BY 4.0으로 공개합니다.

질문

무료 체크 실행