Lihat apakah robots.txt Anda mengizinkan ChatGPT, Claude, Perplexity, Gemini, dan crawler AI lainnya membaca sebuah halaman. Anda mendapat putusan untuk setiap crawler dan baris persis yang menentukannya.
Tool ini mengambil robots.txt dari host yang Anda masukkan dan membacanya seperti yang diwajibkan RFC 9309 bagi sebuah crawler. Crawler mengikuti grup yang menyebut namanya, dan hanya kembali ke User-agent: * jika tidak ada yang menyebutnya. Dalam grup itu, aturan yang cocok terpanjang yang menang. File yang tidak ada berarti semua halaman diizinkan. File yang error berarti semua halaman diblokir.
Tool ini tidak memeriksa firewall, pengaturan bot CDN, atau tag noindex. Untuk sinyal tingkat halaman, gunakan structured data checker.
Kebanyakan perusahaan AI menjalankan lebih dari satu crawler, dan tugasnya berbeda. Memblokir satu tidak memblokir yang lain.
Untuk situs B2B, pertanyaan yang biasa bukan “haruskah kita memblokir AI?” melainkan “apakah kita tanpa sengaja memblokir bot yang menentukan apakah kita dikutip?” User-agent: * / Disallow: / menyeluruh yang tertinggal dari situs staging persis melakukan itu. Panduan kami tentang crawler AI dan robots.txt membahas pilihan-pilihannya.
| Token | Operator | Fungsinya |
|---|---|---|
OAI-SearchBot | OpenAI | Pencarian ChatGPT. Dokumentasi |
ChatGPT-User | OpenAI | Mengambil untuk pengguna ChatGPT; robots.txt mungkin tidak berlaku |
GPTBot | OpenAI | Pelatihan model |
Claude-SearchBot | Anthropic | Hasil pencarian Claude. Dokumentasi |
Claude-User | Anthropic | Mengambil untuk pengguna Claude |
ClaudeBot | Anthropic | Pelatihan model |
PerplexityBot | Perplexity | Jawaban Perplexity; bukan pelatihan. Dokumentasi |
Perplexity-User | Perplexity | Mengambil untuk pengguna; umumnya mengabaikan robots.txt |
Googlebot | Pencarian, termasuk AI Overviews dan AI Mode. Dokumentasi | |
Google-Extended | Token: pelatihan dan grounding Gemini; bukan Search. Dokumentasi | |
Bingbot | Microsoft | Pencarian Bing. Dokumentasi |
meta-webindexer | Meta | Hasil pencarian Meta AI. Dokumentasi |
meta-externalagent | Meta | Pelatihan dan pengindeksan model |
Applebot-Extended | Apple | Token: pelatihan model Apple. Dokumentasi |
Amzn-SearchBot | Amazon | Pencarian di produk Amazon seperti Alexa. Dokumentasi |
DuckAssistBot | DuckDuckGo | Jawaban berbantuan AI dari DuckDuckGo. Dokumentasi |
MistralAI-User | Mistral | Mengambil untuk pengguna Mistral. Dokumentasi |
CCBot | Common Crawl | Arsip web terbuka yang dipakai banyak model untuk berlatih. Dokumentasi |
Tujuan diambil dari dokumentasi masing-masing operator, dibaca pada 24 Oktober 2026. Operator menambah dan mengganti nama crawler, jadi cek halaman mereka sebelum mengubah robots.txt produksi.
Tidak dari pencarian ChatGPT. OpenAI mendokumentasikan GPTBot sebagai crawler untuk pelatihan model dan OAI-SearchBot sebagai yang menentukan apakah sebuah situs bisa muncul di jawaban pencarian ChatGPT. Memblokir GPTBot dan mengizinkan OAI-SearchBot adalah pengaturan yang umum: keluar dari pelatihan, tetap layak dikutip.
Tidak. Google menyatakan Google-Extended mengatur apakah Gemini boleh berlatih pada atau menjadikan konten Anda dasar jawaban, dan tidak memengaruhi Google Search. AI Overviews dan AI Mode adalah bagian dari Search dan mengikuti kontrol yang sama: Googlebot di robots.txt, plus noindex dan nosnippet di halaman.
Operator crawler pencarian dan pelatihan yang tercantum di sini menyatakan crawler mereka mematuhinya. Pengambil yang bertindak untuk pengguna berbeda: OpenAI menyatakan aturan robots.txt mungkin tidak berlaku untuk ChatGPT-User, dan Perplexity menyatakan Perplexity-User umumnya mengabaikannya, karena seseorang meminta halaman itu.
Bisa di-crawl hanyalah langkah pertama. Apakah asisten merekomendasikan Anda tergantung pada apa yang telah dibacanya tentang kategori Anda, situs mana yang dipercayainya, dan seberapa sering Anda muncul bersama pertanyaan yang diajukan pembeli. Jalankan pengecekan gratis untuk melihat posisi Anda.
Biasanya karena robots.txt tidak termuat. RFC 9309 menyatakan crawler yang mendapat error server, atau tidak ada jawaban, harus menganggap seluruh situs terlarang sampai bisa membaca file itu. Pastikan /robots.txt mengembalikan 200 dengan teks biasa.
Tidak. Tool ini membaca robots.txt, yang diminta untuk diikuti crawler. Aturan firewall, CDN, atau perlindungan bot bisa memblokir crawler terlepas dari robots.txt. Jika checker melihat 403 untuk robots.txt itu sendiri, checker menyatakannya, karena itu sering berarti bot ditolak sebelum membaca apa pun.
Crawler yang bisa membaca halaman Anda itu perlu, tetapi belum cukup. Pertanyaan yang diajukan ke tim Anda adalah apakah ChatGPT, Claude, dan Gemini merekomendasikan Anda saat pembeli meminta daftar pilihan, dan siapa yang mereka sebut sebagai gantinya. Itulah yang diukur Mentioned: pertanyaan pembeli yang sama setiap minggu, jawaban lengkapnya, dan daftar berurutan tentang apa yang perlu diperbaiki.