学ぶ
リサーチ
AI クローラーをブロックしているサイトはどこか？ robots.txt 4,762件を読みました
学習用クローラーをブロックすれば、ページは将来のモデルに入りません。検索用クローラーをブロックすれば、今日の回答に入りません。世界で最も人気のある 4,762 サイトの robots.txt を解析し、サイトが実際にどちらをしているかを調べました。
学習用クローラーをブロックすれば、ページは将来のモデルに入りません。検索用クローラーをブロックすれば、今日の回答に入りません。世界で最も人気のある 4,762 サイトの robots.txt を解析し、サイトが実際にどちらをしているかを調べました。
User-agent: * ルールがブロックしているのです。56 サイトはデフォルトですべてのクローラーをブロックし、Googlebot だけを許可しています。主要な AI 企業はいずれも、用途ごとに別々のクローラーを動かしており、各社のドキュメントにそう書かれています。OpenAI は “each setting is independent of the others” と述べています。GPTBot は学習データを集め、OAI-SearchBot は ChatGPT 検索に何が表示されうるかを決めます。Anthropic も同様に ClaudeBot と Claude-SearchBot を分けており（Claude ヘルプセンター）、Google-Extended は Google 検索に影響せずに Gemini の学習とグラウンディングを制御します（Google Search Central）。
サイト運営者はその意図を理解しています。ある企業の学習用クローラーをブロックするサイトの多くは、その企業の検索用クローラーは許可しています。
| 会社 | 学習用クローラーをブロック | 検索用クローラーは許可のまま | 両方ブロック |
|---|---|---|---|
| OpenAI | 705 (GPTBot) | 421 (60%) | 284 |
| Anthropic | 640 (ClaudeBot) | 385 (60%) | 255 |
| 579 (Google-Extended) | 508 (88%, Googlebot) | 71 |
逆のケースはほとんどありません。GPTBot を許可しながら OAI-SearchBot をブロックしているサイトは 0、Anthropic で同じことをしているのは 1 サイトです。
回答にまで届く拒否が一つあります。Google-Extended は学習に加えて Gemini でのグラウンディングも対象にしているため、これをブロックする 579 サイト（12.2%）は、Google 検索には残りつつ、Gemini の回答の根拠に自社ページを使わないよう Google に求めていることになります。
User-agent: * のルールは、ファイルが名前を挙げていないすべてのクローラーに適用されます。* の下に Disallow: / と書き、その後 Googlebot と Bingbot を名前で許可したサイトは、意図せずにすべての AI 検索クローラーもブロックしている可能性があります。全面ブロックのサイトは 126 あり、そのうち 56 が Googlebot を許可し、さらにそのうち 38 が OAI-SearchBot を対象外にしています。全面ブロックで OAI-SearchBot を例外として挙げているのは 18 サイトだけです。
こうして、OAI-SearchBot のブロック 284 件のうち 100 件、Claude-SearchBot のブロック 256 件のうち 108 件が、ボットの名前を一度も書かずに起きています。AI 検索を受け入れるつもりだったなら、これらのクローラーが登場する前に書かれた許可リストをまず確認してください。
読み取れた上位 200 サイトのうち、以下はトップページで OAI-SearchBot、Claude-SearchBot、PerplexityBot の少なくとも 1 つをブロックしています。
| サイト | ブロックされている AI 検索クローラー | 方法 |
|---|---|---|
| reddit.com | 3 つすべて | すべてのクローラーに User-agent: * / Disallow: /、Googlebot も含む |
| cnn.com | 3 つすべて | 各 AI クローラーを名指しして禁止 |
| facebook.com, instagram.com | 3 つすべて | デフォルトですべてのクローラーをブロックし、名前を挙げた検索エンジンだけを許可 |
| x.com, pinterest.com, tiktok.com | 3 つすべて | * でデフォルトブロック、例外あり |
| msn.com | 3 つすべて | ブロックする AI クローラーを名指し |
| theguardian.com | Claude-SearchBot, PerplexityBot | OAI-SearchBot はブロックされていない |
| yahoo.com, primevideo.com, whatsapp.com | PerplexityBot のみ | OpenAI と Anthropic の検索クローラーはブロックされていない |
リストの大半はソーシャルネットワークと大手パブリッシャーです。ほとんどはライセンス事業やコンテンツ契約を守る必要のあるサイトで、購買担当者に見つけてもらいたいブランドではありません。
robots.txt を読み取れた 4,762 サイトのうち、各クローラーをトップページから禁止しているサイトの割合（全体、および Tranco の順位帯別）。
| ユーザーエージェント | 運営元・役割 | ブロックしているサイト | 割合 | 上位 1,000 | 1,001–10,000 |
|---|---|---|---|---|---|
CCBot | Common Crawl · 学習 | 728 | 15.3% | 18.9% | 14.9% |
Bytespider | ByteDance · 学習 | 726 | 15.2% | 19.2% | 14.9% |
GPTBot | OpenAI · 学習 | 705 | 14.8% | 16.6% | 14.6% |
ClaudeBot | Anthropic · 学習 | 640 | 13.4% | 16.1% | 13.2% |
Google-Extended | Google · 学習 | 579 | 12.2% | 14.7% | 11.9% |
meta-externalagent | Meta · 学習 | 567 | 11.9% | 14.5% | 11.7% |
Applebot-Extended | Apple · 学習 | 545 | 11.4% | 13.1% | 11.3% |
PerplexityBot | Perplexity · 検索 | 425 | 8.9% | 12.1% | 8.6% |
OAI-SearchBot | OpenAI · 検索 | 284 | 6.0% | 8.2% | 5.7% |
Claude-SearchBot | Anthropic · 検索 | 256 | 5.4% | 9.1% | 5.0% |
DuckAssistBot | DuckDuckGo · 検索 | 289 | 6.1% | 10.0% | 5.7% |
meta-webindexer | Meta · 検索 | 215 | 4.5% | 7.7% | 4.2% |
Amzn-SearchBot | Amazon · 検索 | 177 | 3.7% | 6.5% | 3.4% |
Bingbot | Microsoft · 検索 | 87 | 1.8% | 2.3% | 1.8% |
Googlebot | Google · 検索 | 75 | 1.6% | 2.6% | 1.5% |
ChatGPT-User | OpenAI · ユーザー起点 | 371 | 7.8% | 10.3% | 7.5% |
Perplexity-User | Perplexity · ユーザー起点 | 287 | 6.0% | 10.7% | 5.6% |
Claude-User | Anthropic · ユーザー起点 | 267 | 5.6% | 9.8% | 5.2% |
MistralAI-User | Mistral · ユーザー起点 | 239 | 5.0% | 9.6% | 4.6% |
User-agent: * グループを読みましょう。そこで / を禁止していれば、名前を挙げていない AI クローラーはすべてブロックされています。/robots.txt に HTML ページを返しており、クローラーはこれをルールなしとして読みます。Tranco リスト GQ3LK（Chrome UX Report、Cloudflare Radar、Cisco Umbrella、Majestic、Farsight の 2026年9月28日〜10月27日のデータを組み合わせた研究用ランキング）の上位 10,000 ドメインを対象にしました。2026年10月28日、当社のクローラーが各ドメインのトップページを HTTPS でリダイレクトをたどって取得しました。Tranco の項目の多くはウェブサイトのない CDN、API、トラッキング用のドメインで、2,155 は HTTP の応答がまったくなく、1,415 は 403 を返しました。トップページがステータス 200 の HTML ページを返した 5,480 ドメインを残し、リダイレクト後の最終ホスト名ごとに 1 回数えました。そのうち 4,762 が解析可能な robots.txt を返し、405 は存在せず（4xx 応答で、ルールなしを意味します）、199 は HTML ページを返し、114 は失敗または 5xx を返しました。
各 robots.txt は、当社の AI クローラーチェッカーを支える RFC 9309 パーサーで読み取りました。クローラーは自分のプロダクトトークンを挙げたグループに従い、該当するものがない場合にのみ * に従い、最も長く一致したルールが優先されます。「ブロック」とは、ファイルがそのクローラーにトップページのパス / を禁止していることを意味し、完全な拒否はこの形になります。一部のセクションだけをブロックするサイトは許可として数えます。割合は robots.txt を読み取れたサイトに対するもので、5,480 サイト全体に対する割合にするとやや低くなります。クローラーの一覧と役割は、チェッカーからリンクしている各運営者のドキュメントによります。Bytespider、Amazonbot、廃止されたトークン anthropic-ai も、多くのファイルがまだ名前を挙げているため含めています。
当社のクローラーは Mentioned-Research/1.0 と名乗りました。未知のボットをファイアウォールで拒否するサイトはサンプルから漏れており、そうしたサイトはおそらく AI クローラーにも厳しいため、ここでのブロック率はウェブ全体の推定値ではなく下限と考えてください。robots.txt は意向を示すもので、クローラーがそれに従うかどうかは示しません。また一部のサイトは、名前を挙げたクローラーに別のファイルを返している可能性があります。これは 1 日分のスナップショットです。
この数値は、このページへのリンクを添えて自由に引用・グラフ化できます。推奨する引用表記：Mentioned, “Which Sites Block AI Crawlers? We Read 4,762 robots.txt Files,” 2026年10月28日, https://mentioned.at/learn/ai-crawler-blocking-study。データと本文は CC BY 4.0 で公開しています。
2026年10月の Tranco 上位 10,000 のクロールでは、robots.txt を読み取れた 4,762 サイトの 14.8% がトップページで GPTBot を禁止していました。上位 1,000 では 16.6% でした。
いいえ。OpenAI は ChatGPT 検索に OAI-SearchBot を使っており、クローラーの設定はそれぞれ独立していると述べています。GPTBot をブロックしていても OAI-SearchBot を許可していれば、ChatGPT 検索の回答で引用される可能性があります。
Common Crawl のクローラーである CCBot で、15.3% のサイトがブロックしており、ByteDance の Bytespider と OpenAI の GPTBot がわずかに続きます。AI 検索クローラーでは PerplexityBot が最も多く、8.9% です。
調べたサイトの 4.5% が OAI-SearchBot、Claude-SearchBot、PerplexityBot をすべてブロックしており、9.3% が少なくとも 1 つをブロックしています。