Una riga del robots.txt che un crawler non capisce viene saltata senza dire nulla. Abbiamo analizzato il robots.txt di 4,762 siti popolari per contare le righe che non fanno nulla, e le nuove direttive IA che i siti hanno iniziato ad aggiungere.
User-agent.ai-train=no; 223 indicano search=yes.Noindex, una riga che il parser di Google ignora./robots.txt con una pagina HTML e 6 hanno HTML incollato nel file stesso.La RFC 9309, lo standard del robots.txt, definisce user-agent, allow e disallow. Google aggiunge sitemap e dice che “other fields such as crawl-delay aren’t supported” e che le regole diverse da queste vengono ignorate dal suo parser (Google Search Central). Il nostro parser segue la RFC e accetta anche i diffusissimi crawl-delay, host e clean-param. Lasciando da parte Content-Signal, ecco cosa ha saltato:
| Problema | File | Quota | Cosa fa un crawler |
|---|---|---|---|
| Direttiva sconosciuta | 108 | 2.3% | Salta la riga |
Percorso che non inizia con / | 44 | 0.9% | Può ignorare la regola |
| Riga senza due punti | 27 | 0.6% | Salta la riga |
Regola prima di qualsiasi User-agent | 6 | 0.1% | La regola non appartiene a nessun gruppo, quindi nessuno la rispetta |
Le direttive sconosciute sono la traccia di idee mai diventate standard. Oltre a Content-Signal, le più comuni erano Noindex (24 file), invenzioni legate all’IA come LLMs, LLM-policy e Agentmap (10, 8 e 8 file), e le vecchie Request-rate e Visit-time. Una riga nel robots.txt che punta al tuo llms.txt è innocua, ma nessun crawler che conosciamo la legge lì.
Le righe senza due punti erano di solito tutt’altro: in 6 file, HTML o CSS di una pagina web era finito dentro il robots.txt.
I Content Signals di Cloudflare aggiungono al robots.txt una riga che dice per cosa possono essere usati i contenuti di un sito: search (costruire un indice di ricerca e restituire link e brevi estratti), ai-input (fornire contenuti a un modello al momento della risposta, come nel retrieval o nel grounding) e ai-train (addestrare o affinare modelli). Cloudflare chiarisce che sono preferenze, che i crawler possono ignorare. Nel nostro campione:
| Segnale | Impostato su sì | Impostato su no | Non indicato |
|---|---|---|---|
search | 223 | 0 | 1 |
ai-input | 107 | 10 | 107 |
ai-train | 62 | 161 | 1 |
Lo schema corrisponde a ciò che i siti fanno con le regole dei crawler: sì alla ricerca, no al training, e sulle risposte IA la maggior parte dice sì o non dice nulla. Solo 10 siti su 224 si escludono da ai-input, il segnale che riguarda l’essere citati nelle risposte IA. Il nostro parser tratta la riga come sconosciuta, come qualsiasi crawler che non l’ha adottata; l’abbiamo esclusa dai conteggi degli errori sopra.
Noindex e tutto ciò che Google indica come non supportato. Per tenere una pagina fuori dai risultati, usa un meta tag noindex sulla pagina, e lascia che i crawler la scarichino così vedono il tag./, e metti ogni regola sotto una riga User-agent.Abbiamo preso i primi 10,000 domini della lista Tranco GQ3LK (una classifica di ricerca che combina dati di Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic e Farsight dal 28 settembre al 27 ottobre 2026). Il 28 ottobre 2026 il nostro crawler ha richiesto la homepage di ogni dominio via HTTPS, seguendo i reindirizzamenti. Molte voci di Tranco sono domini di CDN, API o tracciamento senza sito web: 2,155 non hanno dato alcuna risposta HTTP e 1,415 hanno risposto 403. Abbiamo tenuto i 5,480 domini la cui homepage restituiva una pagina HTML con stato 200, contati una volta per hostname finale dopo i reindirizzamenti. 4,762 di questi servivano un robots.txt che siamo riusciti ad analizzare; la dimensione mediana era di 600 byte.
I file sono stati analizzati con il parser RFC 9309 alla base del nostro verificatore di crawler IA, che segnala ogni riga che un crawler salterebbe. I conteggi delle direttive sono la quota di file che contengono ciascun campo almeno una volta, commenti esclusi. Altri parser sono più tolleranti in alcuni punti (quello di Google accetta alcuni errori di battitura, come il nostro), quindi una riga segnalata è una riga che un lettore rigoroso ignora, non la prova che ogni crawler la ignori. Il nostro crawler si è identificato come Mentioned-Research/1.0. I siti che rifiutano i bot sconosciuti al firewall mancano dal campione, e probabilmente sono più severi anche con i crawler IA, quindi considera ogni tasso di blocco qui come un minimo, non come una stima per tutto il web.
Puoi citare questi dati e farne grafici con un link a questa pagina. Citazione suggerita: Mentioned, “robots.txt Mistakes and New Directives in 4,762 Top Sites,” 28 ottobre 2026, https://mentioned.at/learn/robots-txt-errors. Dati e testo pubblicati con licenza CC BY 4.0.
No. La documentazione di Google sul robots.txt dice che campi diversi da user-agent, allow, disallow e sitemap, come crawl-delay, non sono supportati. Anthropic dice che i suoi crawler rispettano Crawl-delay.
Una riga proposta da Cloudflare che indica come possono essere usati i contenuti di un sito: search, ai-input (uso nelle risposte IA) e ai-train. Nella nostra scansione di ottobre 2026, il 4.7% dei file robots.txt dei siti top ne conteneva una.
Non per Google, il cui parser ignora le regole diverse da allow, disallow e user-agent. Usa invece un meta tag robots noindex o un header X-Robots-Tag sulla pagina.