Baris robots.txt yang tidak dipahami crawler dilewati tanpa kata. Kami mengurai robots.txt dari 4,762 situs populer untuk menghitung baris yang tidak berfungsi, dan direktif AI baru yang mulai ditambahkan situs.
User-agent mana pun.ai-train=no; 223 menyatakan search=yes.Noindex, baris yang diabaikan parser Google./robots.txt dengan halaman HTML dan 6 punya HTML yang ditempel di dalam file itu sendiri.RFC 9309, standar robots.txt, mendefinisikan user-agent, allow, dan disallow. Google menambahkan sitemap dan menyatakan bahwa “other fields such as crawl-delay aren’t supported” dan bahwa aturan selain itu diabaikan parsernya (Google Search Central). Parser kami mengikuti RFC dan juga menerima crawl-delay, host, dan clean-param yang banyak dipakai. Mengesampingkan Content-Signal, inilah yang dilewatinya:
| Masalah | File | Porsi | Yang dilakukan crawler |
|---|---|---|---|
| Direktif tak dikenal | 108 | 2.3% | Melewati baris itu |
Jalur yang tidak diawali / | 44 | 0.9% | Bisa mengabaikan aturan |
| Baris tanpa titik dua | 27 | 0.6% | Melewati baris itu |
Aturan sebelum User-agent mana pun | 6 | 0.1% | Aturan tidak termasuk grup mana pun, jadi tidak ada yang mematuhinya |
Direktif tak dikenal adalah catatan ide yang tidak pernah menjadi standar. Selain Content-Signal, yang paling umum adalah Noindex (24 file), rekaan terkait AI seperti LLMs, LLM-policy, dan Agentmap (10, 8, dan 8 file), serta Request-rate dan Visit-time yang lama. Baris di robots.txt yang menunjuk ke llms.txt Anda tidak berbahaya, tetapi tidak ada crawler yang kami ketahui membacanya di sana.
Baris tanpa titik dua biasanya adalah hal yang sama sekali lain: di 6 file, HTML atau CSS dari halaman web terselip ke dalam robots.txt.
Content Signals dari Cloudflare menambahkan satu baris ke robots.txt yang menyatakan untuk apa konten situs boleh dipakai: search (membangun indeks pencarian dan mengembalikan tautan serta cuplikan pendek), ai-input (memasukkan konten ke model saat menjawab, seperti dalam retrieval atau grounding), dan ai-train (melatih atau menyetel model). Cloudflare menegaskan ini adalah preferensi, yang bisa diabaikan crawler. Dalam sampel kami:
| Sinyal | Diatur ke ya | Diatur ke tidak | Tidak dinyatakan |
|---|---|---|---|
search | 223 | 0 | 1 |
ai-input | 107 | 10 | 107 |
ai-train | 62 | 161 | 1 |
Polanya sama dengan apa yang dilakukan situs pada aturan crawler: ya untuk pencarian, tidak untuk pelatihan, dan untuk jawaban AI, sebagian besar menyatakan ya atau tidak menyatakan apa-apa. Hanya 10 dari 224 situs yang menolak ai-input, sinyal yang mencakup dikutip dalam jawaban AI. Parser kami memperlakukan baris itu sebagai tak dikenal, seperti crawler mana pun yang belum mengadopsinya; kami tidak memasukkannya ke hitungan kesalahan di atas.
Noindex dan apa pun yang dicantumkan Google sebagai tidak didukung. Untuk menjauhkan halaman dari hasil, pakai meta tag noindex di halaman itu, dan biarkan crawler mengambilnya agar mereka melihat tag tersebut./, dan letakkan setiap aturan di bawah baris User-agent.Kami mengambil 10,000 domain teratas dari daftar Tranco GQ3LK (peringkat riset yang menggabungkan data Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic, dan Farsight dari 28 September hingga 27 Oktober 2026). Pada 28 Oktober 2026 crawler kami meminta beranda setiap domain lewat HTTPS, mengikuti pengalihan. Banyak entri Tranco adalah domain CDN, API, atau pelacakan tanpa situs web: 2,155 tidak memberi jawaban HTTP sama sekali dan 1,415 menjawab 403. Kami menyimpan 5,480 domain yang berandanya mengembalikan halaman HTML dengan status 200, dihitung sekali per hostname akhir setelah pengalihan. 4,762 di antaranya menyajikan robots.txt yang bisa kami urai; ukuran mediannya 600 byte.
File diurai dengan parser RFC 9309 di balik pemeriksa crawler AI kami, yang melaporkan setiap baris yang akan dilewati crawler. Hitungan direktif adalah porsi file yang memuat setiap kolom setidaknya sekali, tanpa komentar. Parser lain di beberapa bagian lebih toleran (parser Google menerima beberapa salah ketik, begitu pula milik kami), jadi baris yang ditandai adalah baris yang diabaikan pembaca yang ketat, bukan bukti bahwa setiap crawler mengabaikannya. Crawler kami mengidentifikasi diri sebagai Mentioned-Research/1.0. Situs yang menolak bot tak dikenal di firewall tidak masuk sampel, dan situs-situs itu kemungkinan juga lebih ketat terhadap crawler AI, jadi anggap setiap tingkat blokir di sini sebagai batas bawah, bukan estimasi untuk seluruh web.
Anda boleh mengutip dan membuat grafik dari angka-angka ini dengan menautkan kembali ke halaman ini. Kutipan yang disarankan: Mentioned, “robots.txt Mistakes and New Directives in 4,762 Top Sites,” 28 Oktober 2026, https://mentioned.at/learn/robots-txt-errors. Data dan teks diterbitkan di bawah CC BY 4.0.
Tidak. Dokumentasi robots.txt Google menyatakan kolom selain user-agent, allow, disallow, dan sitemap, seperti crawl-delay, tidak didukung. Anthropic menyatakan crawler-nya mematuhi Crawl-delay.
Baris yang diusulkan Cloudflare yang menyatakan bagaimana konten situs boleh dipakai: search, ai-input (dipakai dalam jawaban AI), dan ai-train. Dalam perayapan Oktober 2026 kami, 4.7% file robots.txt situs teratas memuatnya.
Tidak untuk Google, yang parsernya mengabaikan aturan selain allow, disallow, dan user-agent. Gunakan meta tag robots noindex atau header X-Robots-Tag di halaman itu.