Saat user agent asing muncul di log server, orang mencari namanya. Kami mengambil data permintaan itu untuk 16 crawler AI — dan menemukan bahwa bot yang menentukan apakah Anda disitasi justru yang tidak dicari siapa pun.
| User agent | Operator · peran | AS / bulan | Seluruh dunia / bulan |
|---|---|---|---|
GPTBot | OpenAI · pelatihan | 350 | 1,900 |
Bytespider | ByteDance · crawler | 200 | 1,600 |
OAI-SearchBot | OpenAI · pencarian | 200 | 1,100 |
CCBot | Common Crawl · korpus pelatihan | 150 | 1,000 |
Meta-ExternalAgent | Meta · pelatihan | 150 | 1,000 |
Amazonbot | Amazon | 150 | 800 |
PerplexityBot | Perplexity · pencarian | 80 | 500 |
Google-Extended | Google · token pelatihan/grounding Gemini | 80 | 450 |
Claude-SearchBot | Anthropic · pencarian | 50 | 250 |
ChatGPT-User | OpenAI · fetch yang dipicu pengguna | 40 | 150 |
DuckAssistBot | DuckDuckGo · jawaban | 30 | 150 |
Applebot-Extended | Apple · token pelatihan | 30 | 100 |
anthropic-ai | Anthropic · token lama | 10 | 80 |
Claude-User | Anthropic · fetch yang dipicu pengguna | 10 | 20 |
Perplexity-User | Perplexity · fetch yang dipicu pengguna | 10 | 20 |
“claudebot” menunjukkan 4.700 pencarian di AS dan 14.000 di seluruh dunia per bulan, yang akan menjadikannya crawler paling banyak dicari dengan selisih jauh. Kami tidak memasukkannya ke tabel karena Ahrefs mengelompokkannya di bawah topik induk “claude” — sebagian besar pencarian itu hampir pasti dari orang yang mencari chatbot Claude, bukan crawler Anthropic. Anggap angka itu sebagai batas atas, bukan temuan.
Memblokir crawler pelatihan seperti GPTBot menjaga halaman Anda keluar dari pelatihan model di masa depan; itu tidak mengeluarkan Anda dari jawaban pencarian langsung ChatGPT. Crawler yang benar-benar mengendalikan sitasi langsung — OAI-SearchBot, Claude-SearchBot, PerplexityBot — hanya mendapat sebagian kecil perhatian. Risikonya adalah pemilik situs yang membaca soal GPTBot, menulis blokir yang terlalu luas, dan ikut mematikan crawler pencarian. Panduan kami tentang crawler AI dan robots.txt memuat perubahan yang dinyatakan tiap operator jika bot-nya diblokir, lengkap dengan tautan ke dokumentasi mereka, dan pemeriksa crawler AI gratis kami menunjukkan mana saja yang saat ini diizinkan robots.txt Anda.
Pencarian tentang pemblokiran jumlahnya kecil: “block ai crawlers” menarik sekitar 70 pencarian per bulan di AS dan “block gptbot” sekitar 40. Kebanyakan orang yang mencari nama sebuah bot tampaknya ingin tahu apa itu sebelum memutuskan.
Volume pencarian adalah estimasi rata-rata pencarian bulanan dari Ahrefs Keywords Explorer, diambil pada 25 Oktober 2026 lewat konektor SiteWide kami. Angka ini estimasi hasil pemodelan, bukan hitungan resmi Google, dan dibulatkan oleh Ahrefs. KD adalah tingkat kesulitan keyword dari Ahrefs (0–100). CPC adalah estimasi Ahrefs tentang biaya per klik yang dibayar pengiklan di AS. Label peran meringkas apa yang didokumentasikan tiap operator; lihat panduan yang ditautkan untuk sumbernya. Minat pencarian mengukur rasa ingin tahu, bukan volume crawl atau trafik — sebuah bot bisa meng-crawl dengan intens namun jarang dicari.
Anda boleh mengutip dan membuat grafik dari angka-angka ini dengan menautkan kembali ke kami. Saran sitasi: Mentioned, “Which AI Crawlers Do Site Owners Look Up? Search Data for 16 Bots,” 25 Oktober 2026, https://mentioned.at/learn/ai-crawler-search-demand. Data dan teks diterbitkan di bawah CC BY 4.0.