Situs Mana yang Memblokir Crawler AI? Kami Membaca 4,762 File robots.txt

Temuan utama

• Crawler pelatihan diblokir sekitar dua kali lebih sering daripada crawler pencarian AI. 14.8% file robots.txt memblokir GPTBot dan 13.4% memblokir ClaudeBot, dibanding 6.0% untuk OAI-SearchBot dan 5.4% untuk Claude-SearchBot.
• Sebagian besar situs yang menolak pelatihan tetap ada di pencarian AI. Dari 705 situs yang memblokir GPTBot, 421 (60%) masih mengizinkan OAI-SearchBot. Dari 640 yang memblokir ClaudeBot, 385 (60%) masih mengizinkan Claude-SearchBot.
• 4.5% situs memblokir ketiga crawler pencarian AI (OAI-SearchBot, Claude-SearchBot, dan PerplexityBot), yang berarti menutup crawler yang dipakai pencarian ChatGPT, Claude, dan Perplexity untuk menemukan halaman yang akan dikutip. 9.3% memblokir setidaknya satu.
• Banyak blokir pencarian tampak tidak disengaja. 100 dari 284 situs yang memblokir OAI-SearchBot (35%) tidak pernah menyebut namanya: aturan umum User-agent: * yang melakukannya. 56 situs memblokir semua crawler secara default lalu mengizinkan Googlebot.
• 79.7% tidak memblokir satu pun dari 19 crawler AI yang kami periksa, dan 113 memblokir semuanya.
• Situs terbesar memblokir lebih banyak. Di 1,000 teratas, 16.6% memblokir GPTBot dan 8.2% OAI-SearchBot, dibanding 14.6% dan 5.7% di peringkat lebih bawah.

Opt-out pelatihan jarang menyentuh pencarian

Setiap perusahaan AI besar kini menjalankan crawler terpisah untuk tugas terpisah, dan masing-masing menyatakannya di dokumentasinya. OpenAI menyebut “each setting is independent of the others”: GPTBot mengumpulkan data pelatihan, OAI-SearchBot menentukan apa yang bisa muncul di pencarian ChatGPT. Anthropic memisahkan dengan cara yang sama antara ClaudeBot dan Claude-SearchBot (Pusat Bantuan Claude), dan Google-Extended mengendalikan pelatihan dan grounding Gemini tanpa memengaruhi Google Penelusuran (Google Search Central).

Pemilik situs sudah menangkap pesannya. Di antara situs yang memblokir crawler pelatihan sebuah perusahaan, sebagian besar tetap mengizinkan crawler pencariannya:

Kebalikannya hampir tidak pernah terjadi: 0 situs memblokir OAI-SearchBot sambil mengizinkan GPTBot, dan 1 melakukan hal yang sama untuk Anthropic.

Satu opt-out memang menjangkau jawaban. Google-Extended mencakup grounding di Gemini selain pelatihan, jadi 579 situs (12.2%) yang memblokirnya telah meminta Google untuk tidak memakai halaman mereka sebagai dasar jawaban Gemini, sambil tetap ada di Google Penelusuran.

Masalah aturan umum

Aturan untuk User-agent: * berlaku bagi setiap crawler yang tidak disebut file itu. Situs yang menulis Disallow: / di bawah * lalu mengizinkan Googlebot dan Bingbot dengan nama, mungkin tanpa sengaja, juga telah memblokir semua crawler pencarian AI. Kami menemukan 126 situs dengan blokir total; 56 di antaranya mengizinkan Googlebot, dan 38 dari itu tidak menyertakan OAI-SearchBot. Hanya 18 situs dengan blokir total yang menyebut OAI-SearchBot sebagai pengecualian.

Begitulah 100 dari 284 blokir OAI-SearchBot dan 108 dari 256 blokir Claude-SearchBot terjadi tanpa bot itu pernah disebut. Jika Anda bermaksud mengizinkan pencarian AI, daftar izin yang ditulis sebelum crawler-crawler ini ada adalah tempat pertama yang perlu diperiksa.

Siapa yang memblokir pencarian AI

Di antara 200 situs berperingkat tertinggi yang bisa kami baca, situs-situs ini memblokir setidaknya satu dari OAI-SearchBot, Claude-SearchBot, dan PerplexityBot di beranda mereka:

Jejaring sosial dan penerbit besar mendominasi daftar ini. Sebagian besar adalah situs dengan bisnis lisensi atau kesepakatan konten yang perlu dilindungi, bukan merek yang ingin ditemukan pembeli.

Tabel lengkap

Porsi dari 4,762 situs dengan robots.txt yang terbaca yang melarang setiap crawler di beranda, secara keseluruhan dan per kelompok peringkat Tranco.

Yang perlu dilakukan dengan robots.txt Anda

1. Putuskan pelatihan dan pencarian secara terpisah. Memblokir GPTBot atau ClaudeBot tidak mengeluarkan Anda dari jawaban ChatGPT atau Claude; memblokir OAI-SearchBot, Claude-SearchBot, atau PerplexityBot akan mengeluarkan Anda.
2. Baca grup User-agent: * Anda. Jika grup itu melarang /, setiap crawler AI yang tidak Anda sebut akan terblokir.
3. Periksa file yang aktif, bukan yang ada di repo Anda. 199 situs dalam sampel kami menjawab /robots.txt dengan halaman HTML, yang dibaca crawler sebagai tidak ada aturan sama sekali.
4. Ujilah. Pemeriksa crawler AI menjalankan parser yang sama dengan yang kami pakai di sini terhadap situs Anda, dan Crawler AI dan robots.txt punya contoh file yang mengizinkan crawler jawaban dan menjauhkan crawler pelatihan.

Metode dan batasan

Kami mengambil 10,000 domain teratas dari daftar Tranco GQ3LK (peringkat riset yang menggabungkan data Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic, dan Farsight dari 28 September hingga 27 Oktober 2026). Pada 28 Oktober 2026 crawler kami meminta beranda setiap domain lewat HTTPS, mengikuti pengalihan. Banyak entri Tranco adalah domain CDN, API, atau pelacakan tanpa situs web: 2,155 tidak memberi jawaban HTTP sama sekali dan 1,415 menjawab 403. Kami menyimpan 5,480 domain yang berandanya mengembalikan halaman HTML dengan status 200, dihitung sekali per hostname akhir setelah pengalihan. Dari jumlah itu, 4,762 menyajikan robots.txt yang bisa kami urai; 405 tidak punya (jawaban 4xx, artinya tidak ada aturan), 199 mengembalikan halaman HTML, dan 114 gagal atau menjawab 5xx.

Setiap robots.txt dibaca dengan parser RFC 9309 di balik pemeriksa crawler AI kami: crawler mematuhi grup yang menyebut token produknya, kembali ke * hanya jika tidak ada grup seperti itu, dan aturan cocok terpanjang yang menang. “Diblokir” berarti file itu melarang crawler tersebut di jalur beranda /, yang merupakan bentuk opt-out penuh. Situs yang hanya memblokir sebagian bagian dihitung sebagai mengizinkan. Porsi dihitung dari situs dengan robots.txt yang terbaca; sebagai porsi dari seluruh 5,480 situs, angkanya sedikit lebih rendah. Daftar crawler dan perannya berasal dari dokumentasi masing-masing operator, ditautkan dari pemeriksa; Bytespider, Amazonbot, dan token lama anthropic-ai disertakan karena banyak file masih menyebutnya.

Crawler kami mengidentifikasi diri sebagai Mentioned-Research/1.0. Situs yang menolak bot tak dikenal di firewall tidak masuk sampel, dan situs-situs itu kemungkinan juga lebih ketat terhadap crawler AI, jadi anggap setiap tingkat blokir di sini sebagai batas bawah, bukan estimasi untuk seluruh web. robots.txt menyatakan preferensi; file itu tidak menunjukkan apakah crawler mematuhinya, dan beberapa situs mungkin menyajikan file berbeda untuk crawler yang mereka sebut. Ini adalah potret satu hari.

Kutip ini

Anda boleh mengutip dan membuat grafik dari angka-angka ini dengan menautkan kembali ke halaman ini. Kutipan yang disarankan: Mentioned, “Which Sites Block AI Crawlers? We Read 4,762 robots.txt Files,” 28 Oktober 2026, https://mentioned.at/learn/ai-crawler-blocking-study. Data dan teks diterbitkan di bawah CC BY 4.0.

Pertanyaan

Jalankan pengecekan gratis