robots.txtが、ChatGPT、Claude、Perplexity、Geminiなどのクローラーにページの読み取りを許可しているかを確認できます。クローラーごとの判定と、それを決めた行がそのまま分かります。
入力したホストからrobots.txtを取得し、RFC 9309がクローラーに求める方法で読み取ります。クローラーは自分を指名しているグループに従い、指名するものが何もないときだけUser-agent: *に戻ります。そのグループの中では、最も長く一致するルールが優先されます。ファイルがなければ、すべてのページが許可されます。ファイルがエラーを返せば、すべてのページがブロックされます。
ファイアウォール、CDNのボット設定、noindexタグは確認しません。ページ単位のシグナルについては、構造化データチェッカーを使ってください。
ほとんどのAI企業は複数のクローラーを運用しており、それぞれ役割が異なります。1つをブロックしても、ほかはブロックされません。
B2Bサイトにとって、通常の問いは「AIをブロックすべきか？」ではなく、「自社が引用されるかを決めるボットを、うっかりブロックしていないか？」です。ステージングサイトから残ったUser-agent: *とDisallow: /の組み合わせは、まさにそれを引き起こします。AIクローラーとrobots.txtのガイドで、選択肢を順に説明しています。
| トークン | 運営元 | 役割 |
|---|---|---|
OAI-SearchBot | OpenAI | ChatGPT検索。ドキュメント |
ChatGPT-User | OpenAI | ChatGPTユーザーのために取得。robots.txtが適用されない場合がある |
GPTBot | OpenAI | モデルの学習 |
Claude-SearchBot | Anthropic | Claudeの検索結果。ドキュメント |
Claude-User | Anthropic | Claudeユーザーのために取得 |
ClaudeBot | Anthropic | モデルの学習 |
PerplexityBot | Perplexity | Perplexityの回答用で、学習用ではありません。ドキュメント |
Perplexity-User | Perplexity | ユーザーのために取得。一般にrobots.txtを無視する |
Googlebot | AI OverviewsとAI Modeを含む検索。ドキュメント | |
Google-Extended | トークン：Geminiの学習とグラウンディング用で、検索ではありません。ドキュメント | |
Bingbot | Microsoft | Bing検索。ドキュメント |
meta-webindexer | Meta | Meta AIの検索結果。ドキュメント |
meta-externalagent | Meta | モデルの学習とインデックス作成 |
Applebot-Extended | Apple | トークン：Appleのモデル学習用。ドキュメント |
Amzn-SearchBot | Amazon | Alexaなど、Amazon製品内の検索。ドキュメント |
DuckAssistBot | DuckDuckGo | DuckDuckGoのAI支援の回答。ドキュメント |
MistralAI-User | Mistral | Mistralユーザーのために取得。ドキュメント |
CCBot | Common Crawl | 多くのモデルが学習に使う、オープンなウェブアーカイブ。ドキュメント |
役割は、各運営元の公式ドキュメント（2026年10月24日に確認）に基づきます。運営元はクローラーを追加したり名前を変えたりするため、本番のrobots.txtを変更する前に各社のページを確認してください。
ChatGPT検索からは消えません。OpenAIは、GPTBotをモデル学習用のクローラー、OAI-SearchBotをサイトがChatGPT検索の回答に表示されるかを決めるクローラーと説明しています。GPTBotをブロックしてOAI-SearchBotを許可するのは、よくある設定です。学習には使われず、引用される資格は残ります。
いいえ。Googleは、Google-Extendedは、Geminiがあなたのコンテンツで学習したり回答の根拠にしたりしてよいかを管理するもので、Google検索には影響しないとしています。AI OverviewsとAI Modeは検索の一部であり、同じ制御に従います。robots.txtのGooglebotと、ページのnoindexやnosnippetです。
ここに挙げた検索用や学習用のクローラーの運営元は、自社のものは従うとしています。ユーザーの代わりに動く取得ツールは別です。OpenAIは、ChatGPT-Userにはrobots.txtのルールが適用されない場合があるとし、Perplexityは、人がそのページを求めたため、Perplexity-Userは一般にそれらを無視するとしています。
クロールできることは、最初の一歩にすぎません。アシスタントがあなたをおすすめするかは、あなたのカテゴリについて何を読んできたか、どのサイトを信頼しているか、購入者の質問のそばであなたがどのくらい登場するかで決まります。無料チェックを実行して、現在地を確認してください。
たいていは、robots.txtが読み込めなかったためです。RFC 9309は、サーバーエラーや無応答を受け取ったクローラーは、ファイルを読み取れるようになるまでサイト全体が立入禁止だと想定しなければならないと定めています。/robots.txtが、プレーンテキストで200を返しているか確認してください。
いいえ。確認するのは、クローラーが従うよう求められるrobots.txtです。ファイアウォール、CDN、ボット対策のルールは、robots.txtに関係なくクローラーをブロックできます。チェッカーがrobots.txt自体に403を見つけた場合は、そう表示します。何も読まれないうちにボットが追い返されていることが多いためです。
クローラーがページを読めることは必要条件であって、十分条件ではありません。チームが問われるのは、購入者が候補リストを尋ねたときにChatGPT、Claude、Geminiが自社をおすすめするか、代わりに誰を挙げるかです。Mentionedが測るのはそれです。毎週同じ購入者の質問、回答の全文、何を直すかの順位付きリストを提供します。