Name: AI 爬虫 user-agent 名称的搜索热度,2026 年 10 月
Creator: Mentioned
Published: 2026-10-25
License: https://creativecommons.org/licenses/by/4.0/

主要发现

GPTBot 是全球搜索量最高、且名称无歧义的 AI 爬虫,每月 1,900 次搜索。
字节跳动的 Bytespider 搜索热度是 GPTBot 的 84%(每月 1,600 次),比任何一个搜索爬虫都高。
我们能区分出的四个训练类爬虫(GPTBot、Bytespider、CCBot、Meta-ExternalAgent)全球每月共有 5,500 次搜索。四个 AI 搜索爬虫(OAI-SearchBot、PerplexityBot、Claude-SearchBot、DuckAssistBot)只有 2,000 次,决定你能否被引用的机器人,关注度反而低了 2.8 倍。
由用户触发的抓取器(ChatGPT-User、Claude-User、Perplexity-User)几乎没人搜:合计每月 190 次。
在这 15 个名称中,只有 17% 的搜索来自美国:AI 爬虫管理是全球性的问题。

数据

User agent	运营方 · 角色	美国 / 月	全球 / 月
`GPTBot`	OpenAI · 训练	350	1,900
`Bytespider`	字节跳动 · 爬虫	200	1,600
`OAI-SearchBot`	OpenAI · 搜索	200	1,100
`CCBot`	Common Crawl · 训练语料库	150	1,000
`Meta-ExternalAgent`	Meta · 训练	150	1,000
`Amazonbot`	Amazon	150	800
`PerplexityBot`	Perplexity · 搜索	80	500
`Google-Extended`	Google · Gemini 训练/落地(grounding)标记	80	450
`Claude-SearchBot`	Anthropic · 搜索	50	250
`ChatGPT-User`	OpenAI · 用户触发的抓取	40	150
`DuckAssistBot`	DuckDuckGo · 答案	30	150
`Applebot-Extended`	Apple · 训练标记	30	100
`anthropic-ai`	Anthropic · 旧版标记	10	80
`Claude-User`	Anthropic · 用户触发的抓取	10	20
`Perplexity-User`	Perplexity · 用户触发的抓取	10	20

ClaudeBot 的问题

“claudebot”每月在美国有 4,700 次搜索、全球 14,000 次,会让它成为搜索量遥遥领先的爬虫。我们没有把它放进表格,因为 Ahrefs 把它归在上级主题“claude”下,这些搜索里很大一部分几乎肯定是想找 Claude 聊天机器人的人,而不是 Anthropic 的爬虫。请把这个数字当作上限,而不是结论。

为什么这个差距很重要

屏蔽 GPTBot 这类训练爬虫,只会让你的页面不进入未来的模型训练,不会让你从 ChatGPT 的实时搜索答案里消失。真正控制实时引用的爬虫(OAI-SearchBot、Claude-SearchBot、PerplexityBot)只得到一小部分关注。风险在于:站长读到 GPTBot,写了一条宽泛的屏蔽规则,结果把搜索爬虫也一并关掉了。我们的 AI 爬虫与 robots.txt 指南列出了各家运营方对屏蔽其机器人后果的说明,并附有官方文档链接;我们的免费AI 爬虫检查器会告诉你,你当前的 robots.txt 放行了其中哪些。

关于屏蔽的搜索量很小:“block ai crawlers”在美国每月约 70 次搜索,“block gptbot”约 40 次。大多数搜索机器人名称的人,似乎是想先弄清楚它是什么,再做决定。

方法与局限

搜索量是 Ahrefs Keywords Explorer 对月均搜索次数的估算,于 2026 年 10 月 25 日通过我们的 SiteWide 连接器获取。这些是模型估算值,不是 Google 自己的统计,并且经过 Ahrefs 四舍五入。KD 是 Ahrefs 的关键词难度(0–100)。CPC 是 Ahrefs 对美国广告主每次点击费用的估算。角色标签概括了各运营方公开的说明,来源见链接的指南。搜索热度衡量的是好奇心,不是抓取量或流量:一个机器人可能抓取频繁,却很少被人搜索。

引用本文

欢迎引用这些数据并制作图表,请附上回链。建议引用格式:Mentioned,“Which AI Crawlers Do Site Owners Look Up? Search Data for 16 Bots”,2026 年 10 月 25 日,https://mentioned.at/learn/ai-crawler-search-demand。数据和文字依据 CC BY 4.0 发布。

免费检查一次