Scopri se il tuo robots.txt lascia leggere una pagina a ChatGPT, Claude, Perplexity, Gemini e agli altri crawler AI. Ottieni un verdetto per ogni crawler e la riga esatta che lo ha deciso.
Scarica robots.txt dall’host che inserisci e lo legge come dice la RFC 9309 che deve fare un crawler. Un crawler segue il gruppo che lo nomina e ripiega su User-agent: * solo quando nessuno lo nomina. All’interno del gruppo vince la regola corrispondente più lunga. Un file mancante significa che ogni pagina è consentita. Un file che dà errore significa che ogni pagina è bloccata.
Non controlla firewall, impostazioni bot della CDN o tag noindex. Per i segnali a livello di pagina usa il controllo dei dati strutturati.
La maggior parte delle aziende AI usa più di un crawler, e svolgono compiti diversi. Bloccarne uno non blocca gli altri.
Per un sito B2B, la domanda abituale non è «dobbiamo bloccare l’AI?» ma «stiamo bloccando per sbaglio i bot che decidono se veniamo citati?». Un generico User-agent: * / Disallow: / rimasto da un sito di staging fa esattamente questo. La nostra guida a crawler AI e robots.txt spiega le scelte possibili.
| Token | Operatore | Cosa fa |
|---|---|---|
OAI-SearchBot | OpenAI | Ricerca di ChatGPT. Documentazione |
ChatGPT-User | OpenAI | Scarica pagine per un utente di ChatGPT; il robots.txt potrebbe non valere |
GPTBot | OpenAI | Addestramento dei modelli |
Claude-SearchBot | Anthropic | Risultati di ricerca di Claude. Documentazione |
Claude-User | Anthropic | Scarica pagine per un utente di Claude |
ClaudeBot | Anthropic | Addestramento dei modelli |
PerplexityBot | Perplexity | Risposte di Perplexity; non addestramento. Documentazione |
Perplexity-User | Perplexity | Scarica pagine per un utente; in genere ignora il robots.txt |
Googlebot | Ricerca, inclusi AI Overviews e AI Mode. Documentazione | |
Google-Extended | Token: addestramento e grounding di Gemini; non Search. Documentazione | |
Bingbot | Microsoft | Ricerca Bing. Documentazione |
meta-webindexer | Meta | Risultati di ricerca di Meta AI. Documentazione |
meta-externalagent | Meta | Addestramento dei modelli e indicizzazione |
Applebot-Extended | Apple | Token: addestramento dei modelli Apple. Documentazione |
Amzn-SearchBot | Amazon | Ricerca nei prodotti Amazon come Alexa. Documentazione |
DuckAssistBot | DuckDuckGo | Risposte assistite dall’AI di DuckDuckGo. Documentazione |
MistralAI-User | Mistral | Scarica pagine per un utente di Mistral. Documentazione |
CCBot | Common Crawl | Archivio del web aperto su cui si addestrano molti modelli. Documentazione |
Le finalità vengono dalla documentazione di ciascun operatore, letta il 24 ottobre 2026. Gli operatori aggiungono e rinominano i crawler, quindi controlla le loro pagine prima di modificare un robots.txt in produzione.
Non dalla ricerca di ChatGPT. OpenAI documenta GPTBot come il crawler per l’addestramento dei modelli e OAI-SearchBot come quello che decide se un sito può comparire nelle risposte della ricerca di ChatGPT. Bloccare GPTBot e consentire OAI-SearchBot è una configurazione comune: fuori dall’addestramento, ma ancora idonei a essere citati.
No. Google dice che Google-Extended regola se Gemini può addestrarsi sui tuoi contenuti o basare le risposte su di essi, e che non influisce su Google Search. AI Overviews e AI Mode fanno parte di Search e seguono gli stessi controlli: Googlebot nel robots.txt, più noindex e nosnippet sulla pagina.
Gli operatori dei crawler di ricerca e di addestramento qui elencati dicono di sì. I fetcher che agiscono per un utente sono diversi: OpenAI dice che le regole del robots.txt potrebbero non applicarsi a ChatGPT-User, e Perplexity dice che Perplexity-User in genere le ignora, perché una persona ha chiesto quella pagina.
Essere scansionabili è solo il primo passo. Se un assistente ti consiglia dipende da ciò che ha letto sulla tua categoria, da quali siti considera affidabili e da quanto spesso compari accanto alle domande dei compratori. Fai un check gratuito per vedere dove ti trovi.
Di solito perché il robots.txt non si è caricato. La RFC 9309 dice che un crawler che riceve un errore del server, o nessuna risposta, deve presumere che l’intero sito sia off limits finché non riesce a leggere il file. Verifica che /robots.txt restituisca un 200 con testo semplice.
No. Legge il robots.txt, che è ciò che ai crawler viene chiesto di seguire. Una regola di firewall, CDN o protezione anti-bot può bloccare un crawler a prescindere dal robots.txt. Se il checker vede un 403 sul robots.txt stesso, lo dice, perché spesso significa che i bot vengono respinti prima di leggere qualsiasi cosa.
Un crawler che può leggere le tue pagine è necessario, non sufficiente. La domanda che fa il tuo team è se ChatGPT, Claude e Gemini ti consigliano quando un compratore chiede una rosa di nomi, e chi nominano al tuo posto. È ciò che misura Mentioned: le stesse domande d’acquisto ogni settimana, le risposte complete e un elenco ordinato di cosa sistemare.