Prüfen Sie, ob Ihre robots.txt ChatGPT, Claude, Perplexity, Gemini und andere KI-Crawler eine Seite lesen lässt. Sie erhalten für jeden Crawler ein Urteil und die genaue Zeile, die entschieden hat.
Es ruft die robots.txt des eingegebenen Hosts ab und liest sie so, wie RFC 9309 es von einem Crawler verlangt. Ein Crawler folgt der Gruppe, die ihn nennt, und greift nur auf User-agent: * zurück, wenn ihn nichts nennt. Innerhalb dieser Gruppe gewinnt die am längsten passende Regel. Eine fehlende Datei bedeutet, dass jede Seite erlaubt ist. Eine Datei, die einen Fehler liefert, bedeutet, dass jede Seite blockiert ist.
Es prüft weder Firewalls noch CDN-Bot-Einstellungen oder noindex-Tags. Für die Signale auf Seitenebene nutzen Sie den Checker für strukturierte Daten.
Die meisten KI-Unternehmen betreiben mehr als einen Crawler, und sie haben verschiedene Aufgaben. Einen zu blockieren blockiert die anderen nicht.
Für eine B2B-Website lautet die übliche Frage nicht „Sollen wir KI blockieren?“, sondern „Blockieren wir versehentlich die Bots, die entscheiden, ob wir zitiert werden?“ Ein pauschales User-agent: * / Disallow: /, das von einer Staging-Seite übrig geblieben ist, tut genau das. Unser Leitfaden zu KI-Crawlern und robots.txt führt durch die Optionen.
| Token | Betreiber | Was er tut |
|---|---|---|
OAI-SearchBot | OpenAI | ChatGPT-Suche. Doku |
ChatGPT-User | OpenAI | Ruft Seiten für einen ChatGPT-Nutzer ab; robots.txt gilt möglicherweise nicht |
GPTBot | OpenAI | Modelltraining |
Claude-SearchBot | Anthropic | Claudes Suchergebnisse. Doku |
Claude-User | Anthropic | Ruft Seiten für einen Claude-Nutzer ab |
ClaudeBot | Anthropic | Modelltraining |
PerplexityBot | Perplexity | Antworten von Perplexity; kein Training. Doku |
Perplexity-User | Perplexity | Ruft Seiten für einen Nutzer ab; ignoriert robots.txt in der Regel |
Googlebot | Suche, einschließlich AI Overviews und AI Mode. Doku | |
Google-Extended | Token: Gemini-Training und Grounding; nicht die Suche. Doku | |
Bingbot | Microsoft | Bing-Suche. Doku |
meta-webindexer | Meta | Suchergebnisse von Meta AI. Doku |
meta-externalagent | Meta | Modelltraining und Indexierung |
Applebot-Extended | Apple | Token: Apple-Modelltraining. Doku |
Amzn-SearchBot | Amazon | Suche in Amazon-Produkten wie Alexa. Doku |
DuckAssistBot | DuckDuckGo | KI-gestützte Antworten von DuckDuckGo. Doku |
MistralAI-User | Mistral | Ruft Seiten für einen Mistral-Nutzer ab. Doku |
CCBot | Common Crawl | Offenes Webarchiv, auf dem viele Modelle trainieren. Doku |
Die Zwecke stammen aus der eigenen Dokumentation jedes Betreibers, gelesen am 24. Oktober 2026. Betreiber fügen Crawler hinzu und benennen sie um, prüfen Sie also deren Seiten, bevor Sie eine produktive robots.txt ändern.
Nicht aus der ChatGPT-Suche. OpenAI beschreibt GPTBot als Crawler für das Modelltraining und OAI-SearchBot als den, der entscheidet, ob eine Website in ChatGPT-Suchantworten erscheinen kann. GPTBot zu blockieren und OAI-SearchBot zuzulassen ist eine gängige Einstellung: raus aus dem Training, weiterhin zitierfähig.
Nein. Google sagt, Google-Extended legt fest, ob Gemini mit Ihren Inhalten trainieren oder Antworten darauf stützen darf, und dass es die Google-Suche nicht beeinflusst. AI Overviews und AI Mode sind Teil der Suche und folgen denselben Steuerungen: Googlebot in der robots.txt sowie noindex und nosnippet auf der Seite.
Die Betreiber der hier aufgeführten Such- und Trainings-Crawler sagen, dass ihre es tun. Die Abruf-Bots, die für einen Nutzer handeln, sind anders: OpenAI sagt, dass robots.txt-Regeln für ChatGPT-User möglicherweise nicht gelten, und Perplexity sagt, dass Perplexity-User sie in der Regel ignoriert, weil ein Mensch genau diese Seite angefragt hat.
Crawlbar zu sein ist nur der erste Schritt. Ob ein Assistent Sie empfiehlt, hängt davon ab, was er über Ihre Kategorie gelesen hat, welchen Websites er vertraut und wie oft Sie neben den Fragen auftauchen, die Käufer stellen. Starten Sie einen kostenlosen Check, um zu sehen, wo Sie stehen.
Meist, weil die robots.txt nicht geladen wurde. RFC 9309 sagt, dass ein Crawler, der einen Serverfehler oder keine Antwort bekommt, annehmen muss, dass die ganze Website tabu ist, bis er die Datei lesen kann. Prüfen Sie, dass /robots.txt mit 200 und reinem Text antwortet.
Nein. Es liest die robots.txt, der Crawler folgen sollen. Eine Firewall-, CDN- oder Bot-Schutz-Regel kann einen Crawler unabhängig von der robots.txt blockieren. Sieht der Checker für die robots.txt selbst ein 403, sagt er das, denn oft bedeutet das, dass Bots abgewiesen werden, bevor sie irgendetwas lesen.
Ein Crawler, der Ihre Seiten lesen kann, ist notwendig, aber nicht ausreichend. Ihr Team wird gefragt, ob ChatGPT, Claude und Gemini Sie empfehlen, wenn ein Käufer nach einer Shortlist fragt, und wen sie stattdessen nennen. Das misst Mentioned: jede Woche dieselben Käuferfragen, die vollständigen Antworten und eine priorisierte Liste dessen, was zu beheben ist.