AIクローラーとrobots.txt：許可すべきボットはどれか

結論から。AIアシスタントにおすすめされたいなら、検索クローラーを許可してください。ChatGPTならOAI-SearchBot、ClaudeならClaude-SearchBot、PerplexityならPerplexityBot、そしてアシスタントが参照する検索エンジンのGooglebotとBingbotです。GPTBotやClaudeBotのような学習クローラーも許可するかどうかは、将来のモデルに関する別の判断です。今日引用されるかどうかは、そこでは決まりません。

AIクローラーの3つの種類

各運営元の公式ドキュメントを読むと、クローラーは3つのグループに分かれます。

検索クローラー：引用されるかどうか

アシスタントが会話中に検索したときにページを見つけられるよう、ページをインデックスします。OpenAIは、OAI-SearchBotをオプトアウトしたサイトはChatGPTの検索回答に表示されないとしています。Anthropicは、Claude-SearchBotを無効にするとClaudeの検索結果での表示が減る可能性があるとしています。Perplexityは、PerplexityBotが回答の中でサイトを表示してリンクするもので、学習には使われないとしています。Metaのmeta-webindexerは、Meta AIで同じ役割を担います。

GoogleとMicrosoftは、このための別クローラーを動かしていません。GoogleはAI OverviewsとAI Modeが検索と同じ制御を使うとしているため、そこで重要なのはGooglebotです。

ユーザーフェッチャー：人が頼んだとき

ChatGPT-User、Claude-User、Perplexity-User、MistralAI-Userは、会話の中で誰かがそのページについて尋ねたり、リンクを貼ったりしたときにページを開きます。OpenAIはChatGPT-Userにrobots.txtのルールが適用されない場合があるとし、Perplexityは、人がそのページを要求したため、Perplexity-Userは通常robots.txtを無視するとしています。Anthropicは、Claude-Userを含む自社のクローラーはrobots.txtを守るとしています。

学習クローラーとトークン：将来のモデル

GPTBot、ClaudeBot、meta-externalagent、Common CrawlのCCBotは、モデルの学習に使われる可能性のあるページを収集します。ここにはクローラーではないものが2つあります。Google-Extendedは、Googlebotがすでに取得したページをGeminiが学習やグラウンディングに使ってよいかを制御するもので、Googleは検索には影響しないとしています。Applebot-Extendedは、Applebotが取得した内容でAppleがモデルを学習してよいかを制御します。

それぞれをブロックすると何が変わるか

ブロックするもの	変わること
`OAI-SearchBot`	ページがChatGPTの検索回答に表示されなくなる
`Claude-SearchBot`	Claudeの検索がページをインデックスできなくなる
`PerplexityBot`	Perplexityがページを表示・リンクできなくなる
`Googlebot`	AI OverviewsやAI Modeを含め、Google検索から外れる
`GPTBot`、`ClaudeBot`	コンテンツは今後の学習から除外されます。ライブの検索回答には影響しません
`Google-Extended`	Geminiはページを学習にも回答のグラウンディングにも使えなくなります。Google検索には影響しません
`CCBot`	多くのモデルが学習に使うCommon Crawlに、新しいページが入らなくなります

各運営元のドキュメントより（2026年10月24日確認）：OpenAI、Anthropic、Perplexity、Google、Meta、Apple、Common Crawl。

引用されたいB2Bサイトのためのrobots.txt

検索系と回答系のクローラーをすべて許可し、非公開のパスは非公開のまま守り、学習への扱いは明示的に決めておく設定です。公開ページが学習に使われても構わない場合は、最後のグループを削除してください。

# Everyone: crawl the public site, not the app
User-agent: *
Disallow: /app/
Disallow: /admin/

# AI search and answer crawlers: same rules, named so nobody
# "tidies" them into a block later
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: meta-webindexer
Disallow: /app/
Disallow: /admin/

# Training: opt out (optional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

つまずきやすいルールがひとつあります。クローラーは、自分の名前が書かれたグループだけに従います。OAI-SearchBotに専用のグループを作ると、User-agent: *の下にある内容はすべて無視されます。そのため、上の例のように非公開パスを繰り返し書く必要があります。

よくある間違い

ステージング用のrobots.txtを本番に置いてしまう。User-agent: * / Disallow: /は、検索系も含め、ルールを守るすべてのクローラーをブロックします。
トップページがrobots.txtとして返される。シングルページアプリは、未知のパスすべてにアプリ本体を返すことがよくあります。クローラーはそれを読んでもルールが見つからず、ブロックしたかったものも含めてすべて許可します。
robots.txtがエラーになる。RFC 9309は、サーバーエラーを受け取ったクローラーは、ファイルが読み込めるまでサイト全体をブロック扱いにしなければならないとしています。
「ChatGPTに載らないように」GPTBotをブロックする。それは学習のオプトアウトです。ChatGPTの検索を決めるのはOAI-SearchBotです。
robots.txtが許可しているものをファイアウォールがブロックしている。CDNのボット対策が、何も読まれないうちにAIクローラーを弾くことがあります。robots.txtへのリクエストに403が返るなら、これが原因の可能性が高いです。

AIクローラーチェッカーは、RFCがクローラーに求める方法でrobots.txtを読み、18のクローラーそれぞれの判定と、その判定を決めた行を表示します。

クロールできることと、おすすめされることは別

検索クローラーを通すと、引用される資格が得られます。ただし、買い手が候補を尋ねたときにアシスタントがあなたを選ぶとは限りません。それは、モデルがそのカテゴリについてすでに知っていること、どの情報源を信頼しているか、そしてページが尋ねられた質問に答えているかで決まります。次の一歩は、ChatGPT、Claude、Geminiが今何と言っているかを調べることです。何が効くかは、言及されるためのガイドをご覧ください。

質問

B2B企業はAIクローラーをブロックすべき？

検索系は、たいていブロックしません。OAI-SearchBot、Claude-SearchBot、PerplexityBotは、各アシスタントが検索するときにあなたのページを見つけて引用できるかを左右します。GPTBotやClaudeBotのような学習クローラーのブロックは、コンテンツを将来のモデルの学習に使わせるかという別の判断で、ライブの回答から外れるわけではありません。

Google-Extendedをブロックすると、AI Overviewsから外れる？

いいえ。GoogleはGoogle-Extendedが検索に影響しないとしており、AI OverviewsとAI Modeは検索の一部です。これらはGooglebotのrobots.txtルールと、noindexやnosnippetの制御に従います。

robots.txtの変更が反映されるまでどのくらいかかる？

運営元によって違います。Metaはクローラーがrobots.txtを最大24時間キャッシュすることがあるとし、Amazonは約24時間、DuckDuckGoはDuckAssistBotで72時間としています。数日は見ておきましょう。

クローラーのブロックはrobots.txtだけで足りる？

robots.txtに従うクローラーには、足ります。ただしこれはお願いであって、鍵ではありません。ユーザー起点のフェッチャーには従わない場合があるとしているものもあり、標準を無視するものはrobots.txtでは止まりません。強制するにはファイアウォールやCDNのルールを使います。

無料チェックを実行 robots.txtをチェックする →