Claude menjawab dari apa yang dipelajarinya saat pelatihan dan, makin sering, dari pencarian web langsung. Setiap jalur punya crawler dan aturannya sendiri. Berikut cara keduanya bekerja, dari dokumentasi Anthropic sendiri, dan apa yang bisa Anda ubah.
Dari pelatihan. Claude belajar dari teks web yang dikumpulkan sebelum batas pelatihannya. Jika merek Anda saat itu dideskripsikan secara luas dan konsisten, Claude bisa menyebut Anda tanpa pencarian sama sekali. Pengetahuan itu hanya berubah saat model baru dilatih, jadi bergerak lambat.
Dari pencarian langsung. Claude bisa mencari di web sambil menjawab. Pusat bantuan Anthropic menyebut Claude “searches the web when it helps”, bahwa pengguna juga bisa memintanya, dan bahwa “every response includes citations” (Pusat Bantuan Claude). Untuk pertanyaan “alat terbaik untuk” dan “alternatif untuk”, pencarian itulah tempat merek yang lebih baru atau lebih kecil mendapat kesempatan.
Anthropic mendokumentasikan tiga user agent, masing-masing dengan tugasnya (Pusat Bantuan Claude). Blokir satu dan Anda hanya mematikan tugas itu:
| User agent | Fungsinya | Jika Anda memblokirnya | Situs teratas yang memblokirnya |
|---|---|---|---|
ClaudeBot | Mengumpulkan konten web yang bisa dipakai untuk pelatihan | Halaman Anda di masa depan tidak masuk data pelatihan | 13.4% |
Claude-SearchBot | Merayapi untuk meningkatkan kualitas hasil pencarian Claude | Anthropic menyebut ini bisa mengurangi visibilitas Anda di hasil pencarian | 5.4% |
Claude-User | Mengambil halaman saat pertanyaan pengguna membutuhkannya | Claude tidak bisa membuka halaman Anda untuk pengguna itu | 5.6% |
Porsi dari 4,762 file robots.txt Tranco 10,000 teratas yang melarang setiap crawler di beranda, dibaca 28 Oktober 2026. Metode di studi crawler kami.
Sebagian besar situs sudah memisahkannya dengan benar: dari 640 situs teratas yang memblokir ClaudeBot, 385 (60%) masih mengizinkan Claude-SearchBot. Yang perlu dikhawatirkan adalah blokir yang tidak disengaja. 108 dari 256 situs yang memblokir Claude-SearchBot tidak pernah menyebutnya; aturan User-agent: * yang ditulis untuk bot lain yang melakukannya. Anthropic juga mematuhi baris non-standar Crawl-delay jika Anda perlu memperlambat crawler-nya alih-alih menghentikannya.
Anthropic tidak menyebutkan di halaman bantuannya mesin pencari apa yang dipakai Claude. Daftar subprosesornya menyebutkannya. Per 28 Oktober 2026, Trust Center Anthropic mencantumkan tiga perusahaan di bawah “Web Search”:
Daftar itu tidak menyebutkan bagaimana ketiganya membagi pekerjaan, jadi jangan membacanya lebih dari ini: halaman Anda perlu ada di indeks web yang bisa dijangkau Claude, dan indeks Brave adalah yang bisa Anda periksa sendiri. Cari merek dan kategori Anda di search.brave.com. Brave menyatakan crawler-nya tidak mengumumkan user agent sendiri, dan jika Googlebot tidak bisa merayapi suatu halaman, Brave juga tidak (Bantuan Brave Search). Jadi halaman yang Anda jauhkan dari Googlebot juga jauh dari Brave. Pencarian gambar di dalam Claude terpisah: pusat bantuan Anthropic menyebut layanan itu didukung Bing.
* dengan saksama.claude.com/crawling/bots.json.Ajukan ke Claude pertanyaan yang diajukan pembeli Anda dan baca jawabannya, termasuk situs mana yang dikutip. Mentioned mengajukan lima pertanyaan pembeli tentang kategori Anda ke Claude, ChatGPT, dan Gemini, menunjukkan kalimat tempat Anda disebut atau siapa yang disebut sebagai gantinya, dan melacak pertanyaan yang sama setiap minggu setelah Anda menyimpannya. Untuk asisten lain, lihat panduan kami tentang ChatGPT, Perplexity, Gemini, dan Copilot.
Tidak. ClaudeBot mengumpulkan data pelatihan. Jawaban pencarian Claude bergantung pada Claude-SearchBot dan Claude-User, yang didokumentasikan Anthropic secara terpisah. Blokir ClaudeBot dan biarkan dua lainnya diizinkan jika Anda ingin tetap di luar pelatihan tetapi tetap bisa dicari.
Daftar subprosesor Anthropic menyebut tiga penyedia pencarian web untuk Claude: Brave Search, TurboPuffer, dan Parallel Web Systems. Daftar itu tidak menyebutkan bagaimana pembagian kerjanya. Pencarian gambar di Claude didukung Bing, menurut pusat bantuan Anthropic.
Saat mencari di web, ya. Anthropic menyatakan setiap jawaban pencarian web menyertakan kutipan, dengan tautan dan kutipan yang relevan, sehingga Anda bisa melihat halaman mana yang menjadi dasar jawaban.
Ajukan ke Claude pertanyaan yang akan diajukan pembeli tentang kategori Anda, dengan pencarian web aktif, dan baca apakah Anda disebut. Karena jawaban bervariasi, ajukan beberapa pertanyaan dan ulangi dari waktu ke waktu. Mentioned melakukannya secara otomatis di Claude, ChatGPT, dan Gemini.