Bloccare un crawler di training tiene le tue pagine fuori dai modelli futuri. Bloccare un crawler di ricerca le tiene fuori dalle risposte di oggi. Abbiamo analizzato il robots.txt di 4,762 dei siti più popolari al mondo per vedere quale delle due cose fanno davvero i siti.
User-agent: *. 56 siti bloccano tutti i crawler per impostazione predefinita e consentono Googlebot.Ogni grande azienda di IA oggi usa crawler separati per compiti separati, e ognuna lo dice nella sua documentazione. OpenAI scrive che “each setting is independent of the others”: GPTBot raccoglie dati di training, OAI-SearchBot decide cosa può apparire nella ricerca di ChatGPT. Anthropic divide allo stesso modo tra ClaudeBot e Claude-SearchBot (Centro assistenza di Claude), e Google-Extended controlla training e grounding di Gemini senza toccare la Ricerca Google (Google Search Central).
I proprietari dei siti hanno colto il messaggio. Tra i siti che bloccano il crawler di training di un’azienda, la maggior parte mantiene il suo crawler di ricerca:
| Azienda | Crawler di training bloccato | Crawler di ricerca ancora consentito | Entrambi bloccati |
|---|---|---|---|
| OpenAI | 705 (GPTBot) | 421 (60%) | 284 |
| Anthropic | 640 (ClaudeBot) | 385 (60%) | 255 |
| 579 (Google-Extended) | 508 (88%, Googlebot) | 71 |
Il contrario non succede quasi mai: 0 siti bloccano OAI-SearchBot consentendo GPTBot, e 1 fa lo stesso con Anthropic.
Un’esclusione arriva davvero alle risposte. Google-Extended copre il grounding in Gemini oltre al training, quindi i 579 siti (12.2%) che lo bloccano hanno chiesto a Google di non usare le loro pagine per fondare le risposte di Gemini, pur restando nella Ricerca Google.
Una regola per User-agent: * vale per ogni crawler che il file non nomina. Un sito che scrive Disallow: / sotto * e poi consente Googlebot e Bingbot per nome ha, forse senza volerlo, bloccato anche tutti i crawler di ricerca IA. Abbiamo trovato 126 siti con un blocco totale; 56 di loro consentono Googlebot, e 38 di questi lasciano fuori OAI-SearchBot. Solo 18 siti con blocco totale nominano OAI-SearchBot come eccezione.
È così che 100 dei 284 blocchi di OAI-SearchBot e 108 dei 256 blocchi di Claude-SearchBot avvengono senza che il bot venga mai nominato. Se volevi far entrare la ricerca IA, una lista di permessi scritta prima che esistessero questi crawler è il primo posto in cui guardare.
Tra i 200 siti meglio classificati che siamo riusciti a leggere, questi bloccano almeno uno tra OAI-SearchBot, Claude-SearchBot e PerplexityBot sulla homepage:
| Sito | Crawler di ricerca IA bloccati | Come |
|---|---|---|
| reddit.com | Tutti e tre | User-agent: * / Disallow: / per tutti i crawler, Googlebot compreso |
| cnn.com | Tutti e tre | Nomina ogni crawler IA e lo vieta |
| facebook.com, instagram.com | Tutti e tre | Blocca tutti i crawler per impostazione predefinita, poi consente i motori di ricerca nominati |
| x.com, pinterest.com, tiktok.com | Tutti e tre | Blocco predefinito su * con eccezioni |
| msn.com | Tutti e tre | Nomina i crawler IA che blocca |
| theguardian.com | Claude-SearchBot, PerplexityBot | OAI-SearchBot non è bloccato |
| yahoo.com, primevideo.com, whatsapp.com | Solo PerplexityBot | I crawler di ricerca di OpenAI e Anthropic non sono bloccati |
Social network e grandi editori dominano la lista. Sono per lo più siti con attività di licenza o accordi sui contenuti da proteggere, non marchi che vogliono farsi trovare dai compratori.
Quota dei 4,762 siti con un robots.txt leggibile che vietano ciascun crawler sulla homepage, in totale e per fascia di classifica Tranco.
| User agent | Operatore · ruolo | Siti che bloccano | Quota | Top 1,000 | 1,001–10,000 |
|---|---|---|---|---|---|
CCBot | Common Crawl · training | 728 | 15.3% | 18.9% | 14.9% |
Bytespider | ByteDance · training | 726 | 15.2% | 19.2% | 14.9% |
GPTBot | OpenAI · addestramento | 705 | 14.8% | 16.6% | 14.6% |
ClaudeBot | Anthropic · training | 640 | 13.4% | 16.1% | 13.2% |
Google-Extended | Google · training | 579 | 12.2% | 14.7% | 11.9% |
meta-externalagent | Meta · addestramento | 567 | 11.9% | 14.5% | 11.7% |
Applebot-Extended | Apple · training | 545 | 11.4% | 13.1% | 11.3% |
PerplexityBot | Perplexity · ricerca | 425 | 8.9% | 12.1% | 8.6% |
OAI-SearchBot | OpenAI · ricerca | 284 | 6.0% | 8.2% | 5.7% |
Claude-SearchBot | Anthropic · ricerca | 256 | 5.4% | 9.1% | 5.0% |
DuckAssistBot | DuckDuckGo · ricerca | 289 | 6.1% | 10.0% | 5.7% |
meta-webindexer | Meta · ricerca | 215 | 4.5% | 7.7% | 4.2% |
Amzn-SearchBot | Amazon · ricerca | 177 | 3.7% | 6.5% | 3.4% |
Bingbot | Microsoft · ricerca | 87 | 1.8% | 2.3% | 1.8% |
Googlebot | Google · ricerca | 75 | 1.6% | 2.6% | 1.5% |
ChatGPT-User | OpenAI · avviato dall’utente | 371 | 7.8% | 10.3% | 7.5% |
Perplexity-User | Perplexity · avviato dall’utente | 287 | 6.0% | 10.7% | 5.6% |
Claude-User | Anthropic · avviato dall’utente | 267 | 5.6% | 9.8% | 5.2% |
MistralAI-User | Mistral · avviato dall’utente | 239 | 5.0% | 9.6% | 4.6% |
User-agent: *. Se vieta /, ogni crawler IA che non hai nominato è bloccato./robots.txt con una pagina HTML, che i crawler leggono come nessuna regola.Abbiamo preso i primi 10,000 domini della lista Tranco GQ3LK (una classifica di ricerca che combina dati di Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic e Farsight dal 28 settembre al 27 ottobre 2026). Il 28 ottobre 2026 il nostro crawler ha richiesto la homepage di ogni dominio via HTTPS, seguendo i reindirizzamenti. Molte voci di Tranco sono domini di CDN, API o tracciamento senza sito web: 2,155 non hanno dato alcuna risposta HTTP e 1,415 hanno risposto 403. Abbiamo tenuto i 5,480 domini la cui homepage restituiva una pagina HTML con stato 200, contati una volta per hostname finale dopo i reindirizzamenti. Di questi, 4,762 servivano un robots.txt che siamo riusciti ad analizzare; 405 non ne avevano (una risposta 4xx, che significa nessuna regola), 199 restituivano una pagina HTML e 114 sono falliti o hanno risposto 5xx.
Ogni robots.txt è stato letto con il parser RFC 9309 alla base del nostro verificatore di crawler IA: un crawler segue i gruppi che nominano il suo product token, ricade su * solo se nessuno lo fa, e vince la regola corrispondente più lunga. “Bloccato” significa che il file vieta quel crawler sul percorso della homepage /, che è l’aspetto di un’esclusione completa. Un sito che blocca solo alcune sezioni conta come consentito. Le quote si riferiscono ai siti con un robots.txt leggibile; come quote su tutti i 5,480 siti sono un po’ più basse. L’elenco dei crawler e i loro ruoli vengono dalla documentazione di ciascun operatore, linkata dal verificatore; Bytespider, Amazonbot e il token ritirato anthropic-ai sono inclusi perché molti file li nominano ancora.
Il nostro crawler si è identificato come Mentioned-Research/1.0. I siti che rifiutano i bot sconosciuti al firewall mancano dal campione, e probabilmente sono più severi anche con i crawler IA, quindi considera ogni tasso di blocco qui come un minimo, non come una stima per tutto il web. Il robots.txt esprime una preferenza; non mostra se un crawler la rispetta, e alcuni siti potrebbero servire un file diverso ai crawler che nominano. Questa è un’istantanea di un solo giorno.
Puoi citare questi dati e farne grafici con un link a questa pagina. Citazione suggerita: Mentioned, “Which Sites Block AI Crawlers? We Read 4,762 robots.txt Files,” 28 ottobre 2026, https://mentioned.at/learn/ai-crawler-blocking-study. Dati e testo pubblicati con licenza CC BY 4.0.
Nella nostra scansione di ottobre 2026 della top 10,000 di Tranco, il 14.8% dei 4,762 siti con un robots.txt leggibile vietava GPTBot sulla homepage. Nella top 1,000 era il 16.6%.
No. OpenAI usa OAI-SearchBot per la ricerca di ChatGPT e dice che ogni impostazione dei crawler è indipendente. Un sito che blocca GPTBot ma consente OAI-SearchBot può ancora essere citato nelle risposte della ricerca di ChatGPT.
CCBot, il crawler di Common Crawl, sul 15.3% dei siti, appena davanti a Bytespider di ByteDance e a GPTBot di OpenAI. Tra i crawler di ricerca IA, il più bloccato è PerplexityBot, con l’8.9%.
Il 4.5% dei siti che abbiamo letto blocca insieme OAI-SearchBot, Claude-SearchBot e PerplexityBot, e il 9.3% ne blocca almeno uno.