Name: AIクローラーのユーザーエージェント名の検索需要（2026年10月）
Creator: Mentioned
Published: 2026-10-25
License: https://creativecommons.org/licenses/by/4.0/

主な発見

GPTBotは、他の意味と紛れないAIクローラー名として最も検索されています。世界で月間1,900回です。
ByteDanceのBytespiderの検索関心はGPTBotの84%（月間1,600回）で、どの検索クローラーよりも多くなっています。
切り分けられた学習向けクローラー4種（GPTBot、Bytespider、CCBot、Meta-ExternalAgent）は、世界で月間5,500回検索されています。AI検索クローラー4種（OAI-SearchBot、PerplexityBot、Claude-SearchBot、DuckAssistBot）は2,000回。引用されるかどうかを決めるボットへの注目は、2.8分の1しかありません。
ユーザー起点のフェッチャー（ChatGPT-User、Claude-User、Perplexity-User）は、ほとんど検索されていません。3つ合わせても月間190回です。
これら15の名前のうち、米国からの検索は17%だけです。AIクローラーの管理は世界共通の関心事です。

データ

ユーザーエージェント	運営元・役割	米国 / 月	全世界 / 月
`GPTBot`	OpenAI · 学習	350	1,900
`Bytespider`	ByteDance · クローラー	200	1,600
`OAI-SearchBot`	OpenAI · 検索	200	1,100
`CCBot`	Common Crawl · 学習用コーパス	150	1,000
`Meta-ExternalAgent`	Meta · 学習	150	1,000
`Amazonbot`	Amazon	150	800
`PerplexityBot`	Perplexity · 検索	80	500
`Google-Extended`	Google · Gemini学習・グラウンディング用トークン	80	450
`Claude-SearchBot`	Anthropic · 検索	50	250
`ChatGPT-User`	OpenAI · ユーザー起点のフェッチ	40	150
`DuckAssistBot`	DuckDuckGo · 回答	30	150
`Applebot-Extended`	Apple · 学習用トークン	30	100
`anthropic-ai`	Anthropic · 旧トークン	10	80
`Claude-User`	Anthropic · ユーザー起点のフェッチ	10	20
`Perplexity-User`	Perplexity · ユーザー起点のフェッチ	10	20

ClaudeBotの問題

「claudebot」は米国で月間4,700回、世界で14,000回検索されており、表に入れれば群を抜いて最も検索されるクローラーになります。ただ、Ahrefsはこの語を親トピック「claude」に分類しています。検索の多くは、Anthropicのクローラーではなく、チャットボットのClaudeを探す人によるものとみてほぼ間違いありません。そのため表からは外しました。この数字は発見ではなく、上限値として扱ってください。

この差が重要な理由

GPTBotのような学習用クローラーをブロックすると、ページは今後のモデル学習から外れますが、ChatGPTのライブ検索の回答からは外れません。ライブでの引用を左右するクローラー（OAI-SearchBot、Claude-SearchBot、PerplexityBot）には、ごくわずかな注目しか集まっていません。危ないのは、GPTBotについて読んで広めのブロックを書き、検索クローラーまで一緒に止めてしまう運営者です。AIクローラーとrobots.txtのガイドでは、各運営元がボットをブロックすると何が変わると説明しているかを、ドキュメントへのリンク付きでまとめています。無料のAIクローラーチェッカーでは、現在のrobots.txtがどのクローラーを許可しているかを確認できます。

ブロックに関する検索は少なめです。「block ai crawlers」は米国で月間約70回、「block gptbot」は約40回です。ボット名を検索する人の多くは、対処を決める前にまずそれが何なのかを知りたいようです。

調査方法と限界

検索ボリュームは、SiteWideコネクタ経由で2026年10月25日に取得したAhrefs Keywords Explorerの月間平均検索数の推定値です。Google自身の数値ではなくモデルによる推定で、Ahrefsが丸めています。KDはAhrefsのキーワード難易度（0〜100）、CPCは米国で広告主がクリックあたりに支払う額のAhrefsによる推定です。役割ラベルは各運営元が公開している内容を要約したものです。出典は、リンク先のガイドをご覧ください。検索関心が示すのは関心の高さであり、クロール量やトラフィックではありません。頻繁にクロールしているのに、ほとんど検索されないボットもあります。

引用する

リンクを添えていただければ、これらの数値の引用やグラフ化は自由です。引用表記の例：Mentioned, “Which AI Crawlers Do Site Owners Look Up? Search Data for 16 Bots,” October 25, 2026, https://mentioned.at/learn/ai-crawler-search-demand。データと本文はCC BY 4.0で公開しています。

無料チェックを実行