上位 4,762 サイトの robots.txt の誤りと新しいディレクティブ

主な発見

• robots.txt の 3.7% に、RFC 9309 上クローラーが無視する行があります：未知のディレクティブ、先頭のスラッシュがないパス、コロンのない行、どの User-agent よりも前にあるルールです。
• Cloudflare の新しい AI 利用ディレクティブ Content-Signal は、すでにファイルの 4.7% にあります（224）。そのうち 161 が ai-train=no、223 が search=yes としています。
• 12.2% がまだ Crawl-delay を設定しています。Google はこれをサポートしていないと述べています。Anthropic は従うとしています。
• 24 ファイルがまだ Noindex を使っています。Google のパーサーが無視する行です。
• 70.9% がサイトマップを宣言しています。主要な検索エンジンがすべて読む、ルール以外の唯一の行です。
• 199 サイトが /robots.txt に HTML ページを返し、6 サイトはファイル自体に HTML が貼り付けられています。

何の役にも立っていない行

robots.txt の標準である RFC 9309 は user-agent、allow、disallow を定義しています。Google は sitemap を加え、“other fields such as crawl-delay aren’t supported”、それ以外のルールは同社のパーサーで無視されると述べています（Google Search Central）。当社のパーサーは RFC に従い、広く使われている crawl-delay、host、clean-param も受け付けます。Content-Signal を除くと、読み飛ばしたのは次のとおりです。

未知のディレクティブは、標準にならなかったアイデアの記録です。Content-Signal 以外で多かったのは Noindex（24 ファイル）、LLMs、LLM-policy、Agentmap といった AI 関連の独自ディレクティブ（それぞれ 10、8、8 ファイル）、そして古い Request-rate と Visit-time です。robots.txt から llms.txt を指す行は害はありませんが、そこでそれを読むクローラーを私たちは知りません。

コロンのない行は、たいていまったく別のものでした。6 ファイルでは、ウェブページの HTML や CSS が robots.txt に紛れ込んでいました。

Content-Signal：AI 利用のための新しい行

Cloudflare の Content Signals は、サイトのコンテンツを何に使ってよいかを示す 1 行を robots.txt に加えます。search（検索インデックスを作り、リンクと短い抜粋を返す）、ai-input（回答時にコンテンツをモデルに入力する。検索拡張やグラウンディングなど）、ai-train（モデルの学習や微調整）です。Cloudflare は、これらがクローラーに無視されうる意向表明であることを明確にしています。サンプルでは次のとおりでした。

この傾向は、サイトがクローラーのルールでしていることと一致します。検索には yes、学習には no、AI の回答については大半が yes か何も書かないかです。AI の回答で引用されることに関わるシグナル ai-input を拒否しているのは 224 サイト中 10 だけです。当社のパーサーは、これを採用していないクローラーと同じくこの行を未知として扱います。上のエラー件数からは除外しました。

自社のファイルを整理する

1. Noindex など、Google がサポート外とするものを削除しましょう。ページを検索結果から外したいなら、ページに noindex メタタグを置き、クローラーがタグを見られるよう取得を許可してください。
2. すべてのパスを / で始め、すべてのルールを User-agent 行の下に置きましょう。
3. 公開中のファイルを取得し、トップページではなくプレーンテキストであることを確認しましょう。
4. 各 AI クローラーに何が許可されているかを確認しましょう。AI クローラーチェッカーは、無視した行とその理由をすべて一覧にします。クローラーそのものについてはAI クローラーをブロックしているサイトをご覧ください。

調査方法と限界

Tranco リスト GQ3LK（Chrome UX Report、Cloudflare Radar、Cisco Umbrella、Majestic、Farsight の 2026年9月28日〜10月27日のデータを組み合わせた研究用ランキング）の上位 10,000 ドメインを対象にしました。2026年10月28日、当社のクローラーが各ドメインのトップページを HTTPS でリダイレクトをたどって取得しました。Tranco の項目の多くはウェブサイトのない CDN、API、トラッキング用のドメインで、2,155 は HTTP の応答がまったくなく、1,415 は 403 を返しました。トップページがステータス 200 の HTML ページを返した 5,480 ドメインを残し、リダイレクト後の最終ホスト名ごとに 1 回数えました。そのうち 4,762 が解析可能な robots.txt を返し、サイズの中央値は 600 バイトでした。

ファイルは、クローラーが読み飛ばす行をすべて報告する当社の AI クローラーチェッカーの RFC 9309 パーサーで解析しました。ディレクティブの件数は、コメントを除いて各フィールドを 1 回以上含むファイルの割合です。他のパーサーは場所によっては寛容で（Google のパーサーは当社と同じく一部の綴り間違いを受け付けます）、指摘された行は厳密な読み手が無視する行であって、すべてのクローラーが無視するという証拠ではありません。当社のクローラーは Mentioned-Research/1.0 と名乗りました。未知のボットをファイアウォールで拒否するサイトはサンプルから漏れており、そうしたサイトはおそらく AI クローラーにも厳しいため、ここでのブロック率はウェブ全体の推定値ではなく下限と考えてください。

引用する

この数値は、このページへのリンクを添えて自由に引用・グラフ化できます。推奨する引用表記：Mentioned, “robots.txt Mistakes and New Directives in 4,762 Top Sites,” 2026年10月28日, https://mentioned.at/learn/robots-txt-errors。データと本文は CC BY 4.0 で公開しています。

質問

無料チェックを実行