Quando nei log del server compare uno user agent sconosciuto, la gente ne cerca il nome. Abbiamo raccolto questa domanda per 16 crawler AI — e abbiamo scoperto che i bot che decidono se vieni citato sono quelli che nessuno cerca.
| User agent | Operatore · ruolo | USA / mese | Mondo / mese |
|---|---|---|---|
GPTBot | OpenAI · addestramento | 350 | 1,900 |
Bytespider | ByteDance · crawler | 200 | 1,600 |
OAI-SearchBot | OpenAI · ricerca | 200 | 1,100 |
CCBot | Common Crawl · corpus di addestramento | 150 | 1,000 |
Meta-ExternalAgent | Meta · addestramento | 150 | 1,000 |
Amazonbot | Amazon | 150 | 800 |
PerplexityBot | Perplexity · ricerca | 80 | 500 |
Google-Extended | Google · token per addestramento/grounding di Gemini | 80 | 450 |
Claude-SearchBot | Anthropic · ricerca | 50 | 250 |
ChatGPT-User | OpenAI · fetch attivato dall'utente | 40 | 150 |
DuckAssistBot | DuckDuckGo · risposte | 30 | 150 |
Applebot-Extended | Apple · token di addestramento | 30 | 100 |
anthropic-ai | Anthropic · token legacy | 10 | 80 |
Claude-User | Anthropic · fetch attivato dall'utente | 10 | 20 |
Perplexity-User | Perplexity · fetch attivato dall'utente | 10 | 20 |
“claudebot” registra 4.700 ricerche mensili negli USA e 14.000 nel mondo, il che lo renderebbe di gran lunga il crawler più cercato. Lo abbiamo escluso dalla tabella perché Ahrefs lo classifica sotto l'argomento principale “claude” — buona parte di quelle ricerche è quasi certamente di persone che cercano il chatbot Claude, non il crawler di Anthropic. Considera quel numero un limite superiore, non un risultato.
Bloccare un crawler di addestramento come GPTBot tiene le tue pagine fuori dall'addestramento dei modelli futuri; non ti toglie dalle risposte di ricerca live di ChatGPT. I crawler che controllano davvero la citazione live — OAI-SearchBot, Claude-SearchBot, PerplexityBot — ricevono una frazione dell'attenzione. Il rischio è il proprietario di un sito che legge di GPTBot, scrive un blocco generico e spegne insieme a quello anche i crawler di ricerca. La nostra guida a crawler AI e robots.txt elenca cosa dice ogni operatore che cambia bloccando il suo bot, con i link alla loro documentazione, e il nostro AI crawler checker gratuito mostra quali di essi il tuo robots.txt consente oggi.
Le ricerche sul blocco sono poche: “block ai crawlers” genera circa 70 ricerche mensili negli USA e “block gptbot” circa 40. La maggior parte di chi cerca il nome di un bot sembra voler sapere cos'è prima di decidere.
I volumi di ricerca sono stime di Ahrefs Keywords Explorer delle ricerche mensili medie, raccolte il 25 ottobre 2026 tramite il nostro connettore SiteWide. Sono stime modellate, non i conteggi di Google, e Ahrefs le arrotonda. KD è la keyword difficulty di Ahrefs (0–100). CPC è la stima di Ahrefs di quanto pagano gli inserzionisti per clic negli USA. Le etichette di ruolo riassumono quanto documenta ogni operatore; per le fonti vedi la guida collegata. L'interesse di ricerca misura la curiosità, non il volume di crawl né il traffico — un bot può fare molto crawling ed essere cercato di rado.
Puoi citare e rappresentare in grafici questi dati con un link di ritorno. Citazione suggerita: Mentioned, “Which AI Crawlers Do Site Owners Look Up? Search Data for 16 Bots,” October 25, 2026, https://mentioned.at/learn/ai-crawler-search-demand. Dati e testo sono pubblicati con licenza CC BY 4.0.