Jedes KI-Unternehmen betreibt mehr als einen Crawler, und sie erfüllen unterschiedliche Aufgaben. Hier steht, was jeder tut, was das Blockieren tatsächlich ändert und eine robots.txt zum Kopieren.
Die Kurzantwort. Wenn KI-Assistenten Sie empfehlen sollen, lassen Sie deren Such-Crawler zu: OAI-SearchBot für ChatGPT, Claude-SearchBot für Claude, PerplexityBot für Perplexity sowie Googlebot und Bingbot für die Suchmaschinen, auf die sich Assistenten stützen. Ob Sie zusätzlich die Trainings-Crawler wie GPTBot und ClaudeBot zulassen, ist eine separate Entscheidung über künftige Modelle. Sie entscheidet nicht darüber, ob Sie heute zitiert werden können.
Wer die Dokumentation der Betreiber liest, kann die Crawler in drei Gruppen einteilen.
Sie indexieren Seiten, damit ein Assistent sie findet, wenn er während eines Gesprächs sucht. OpenAI sagt, Websites, die OAI-SearchBot ausschließen, erscheinen nicht in den Suchantworten von ChatGPT. Anthropic sagt, das Deaktivieren von Claude-SearchBot könne Ihre Sichtbarkeit in den Suchergebnissen von Claude verringern. Perplexity sagt, PerplexityBot zeige Websites in seinen Antworten an und verlinke sie, und werde nicht für Training genutzt. meta-webindexer von Meta übernimmt dieselbe Aufgabe für Meta AI.
Google und Microsoft betreiben dafür keine separaten Crawler. Laut Google nutzen AI Overviews und AI Mode dieselben Steuerungen wie die Suche, daher ist dort Googlebot der entscheidende.
ChatGPT-User, Claude-User, Perplexity-User und MistralAI-User öffnen eine Seite, weil jemand in einem Gespräch danach gefragt oder den Link eingefügt hat. OpenAI sagt, robots.txt-Regeln gelten für ChatGPT-User möglicherweise nicht, und Perplexity sagt, Perplexity-User ignoriere sie in der Regel, da ein Mensch die Seite angefordert hat. Anthropic sagt, seine Crawler, Claude-User eingeschlossen, befolgen robots.txt.
GPTBot, ClaudeBot, meta-externalagent und CCBot von Common Crawl sammeln Seiten, die zum Training von Modellen verwendet werden können. Zwei Einträge hier sind gar keine Crawler. Google-Extended steuert, ob Gemini Seiten nutzen darf, die Googlebot bereits abgerufen hat, für Training und für Grounding, und laut Google hat es keine Auswirkung auf die Suche. Applebot-Extended steuert, ob Apple mit dem trainieren darf, was Applebot abgerufen hat.
| Wenn Sie blockieren | Was sich ändert |
|---|---|
OAI-SearchBot | Ihre Seiten können in den Suchantworten von ChatGPT nicht erscheinen |
Claude-SearchBot | Die Suche von Claude kann Ihre Seiten nicht indexieren |
PerplexityBot | Perplexity kann Ihre Seiten nicht anzeigen und verlinken |
Googlebot | Sie verlassen die Google-Suche, einschließlich AI Overviews und AI Mode |
GPTBot, ClaudeBot | Ihre Inhalte sind vom künftigen Training ausgeschlossen. Live-Suchantworten sind nicht betroffen |
Google-Extended | Gemini kann mit Ihren Seiten weder trainieren noch Antworten darauf stützen. Die Google-Suche ist nicht betroffen |
CCBot | Neue Seiten bleiben aus Common Crawl heraus, womit viele Modelle trainiert werden |
Aus der Dokumentation der einzelnen Betreiber, gelesen am 24. Oktober 2026: OpenAI, Anthropic, Perplexity, Google, Meta, Apple, Common Crawl.
Sie lässt jeden Such- und Antwort-Crawler zu, hält Ihre privaten Pfade privat und macht die Trainingsentscheidung explizit. Löschen Sie die letzte Gruppe, wenn Ihre öffentlichen Seiten gern fürs Training genutzt werden dürfen.
# Everyone: crawl the public site, not the app
User-agent: *
Disallow: /app/
Disallow: /admin/
# AI search and answer crawlers: same rules, named so nobody
# "tidies" them into a block later
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: meta-webindexer
Disallow: /app/
Disallow: /admin/
# Training: opt out (optional)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
Disallow: /
Sitemap: https://www.example.com/sitemap.xmlEine Regel bringt viele ins Stolpern: Ein Crawler befolgt nur die Gruppe, die ihn nennt. Wenn Sie OAI-SearchBot eine eigene Gruppe geben, ignoriert er alles unter User-agent: *, deshalb müssen die privaten Pfade wiederholt werden, wie oben.
User-agent: * / Disallow: / blockiert jeden regelkonformen Crawler, auch die Such-Crawler.Der KI-Crawler-Checker liest Ihre robots.txt so, wie es der RFC für einen Crawler vorschreibt, und zeigt das Urteil für 18 Crawler samt der Zeile, die jeweils entschieden hat.
Wenn Sie die Such-Crawler hereinlassen, können Sie zitiert werden. Das heißt nicht, dass ein Assistent Sie wählt, wenn ein Käufer nach einer Shortlist fragt. Das hängt davon ab, was das Modell bereits über Ihre Kategorie weiß, welchen Quellen es vertraut und ob Ihre Seiten die gestellte Frage beantworten. Der nächste Schritt: herausfinden, was ChatGPT, Claude und Gemini heute sagen. Im Leitfaden zum Erwähntwerden steht, was etwas bewegt.
Normalerweise nicht die Such-Crawler. OAI-SearchBot, Claude-SearchBot und PerplexityBot entscheiden, ob diese Assistenten Ihre Seiten bei der Suche finden und zitieren können. Trainings-Crawler wie GPTBot und ClaudeBot zu blockieren ist eine eigene Entscheidung darüber, ob Ihre Inhalte zum Training künftiger Modelle genutzt werden. Aus Live-Antworten nimmt Sie das nicht heraus.
Nein. Laut Google wirkt sich Google-Extended nicht auf die Google-Suche aus, und AI Overviews und AI Mode gehören zur Suche. Für sie gelten die robots.txt-Regeln von Googlebot sowie die Steuerungen noindex und nosnippet.
Das hängt vom Betreiber ab. Meta sagt, seine Crawler dürften die robots.txt bis zu 24 Stunden zwischenspeichern, Amazon nennt etwa 24 Stunden, und DuckDuckGo nennt 72 Stunden für DuckAssistBot. Planen Sie ein paar Tage ein.
Bei Crawlern, die sie befolgen, ja. Sie ist eine Bitte, kein Schloss: Manche nutzerausgelösten Fetcher geben an, sie womöglich nicht zu befolgen, und was den Standard ignoriert, wird dadurch nicht aufgehalten. Für die Durchsetzung sind Firewall- und CDN-Regeln das richtige Werkzeug.