Welche Websites blockieren KI-Crawler? Wir haben 4,762 robots.txt-Dateien gelesen

Zentrale Ergebnisse

• Trainings-Crawler werden etwa doppelt so oft blockiert wie KI-Such-Crawler. 14.8 % der robots.txt-Dateien blockieren GPTBot und 13.4 % ClaudeBot, gegenüber 6.0 % für OAI-SearchBot und 5.4 % für Claude-SearchBot.
• Die meisten Websites, die dem Training widersprechen, bleiben in der KI-Suche. Von den 705 Websites, die GPTBot blockieren, lassen 421 (60 %) OAI-SearchBot weiterhin herein. Von den 640, die ClaudeBot blockieren, erlauben 385 (60 %) weiterhin Claude-SearchBot.
• 4.5 % der Websites blockieren alle drei KI-Such-Crawler (OAI-SearchBot, Claude-SearchBot und PerplexityBot) und sperren damit die Crawler aus, mit denen die ChatGPT-Suche, Claude und Perplexity zitierbare Seiten finden. 9.3 % blockieren mindestens einen.
• Viele Such-Sperren wirken versehentlich. 100 der 284 Websites, die OAI-SearchBot blockieren (35 %), nennen ihn nie: Das erledigt eine Sammelregel User-agent: *. 56 Websites blockieren standardmäßig alle Crawler und lassen Googlebot per Allowlist zu.
• 79.7 % blockieren keinen der 19 geprüften KI-Crawler, und 113 blockieren jeden davon.
• Die größten Websites blockieren mehr. In den Top 1,000 blockieren 16.6 % GPTBot und 8.2 % OAI-SearchBot, gegenüber 14.6 % und 5.7 % weiter unten in der Liste.

Trainings-Opt-outs berühren die Suche selten

Jedes große KI-Unternehmen betreibt heute getrennte Crawler für getrennte Aufgaben, und jedes sagt das in seiner Dokumentation. OpenAI schreibt „each setting is independent of the others“: GPTBot sammelt Trainingsdaten, OAI-SearchBot entscheidet, was in der ChatGPT-Suche erscheinen kann. Anthropic trennt ebenso zwischen ClaudeBot und Claude-SearchBot (Claude Help Center), und Google-Extended steuert Training und Grounding von Gemini, ohne die Google-Suche zu berühren (Google Search Central).

Website-Betreiber haben den Wink verstanden. Unter den Websites, die den Trainings-Crawler eines Unternehmens blockieren, behalten die meisten dessen Such-Crawler:

Umgekehrt kommt es fast nie vor: 0 Websites blockieren OAI-SearchBot und erlauben GPTBot, und 1 tut dasselbe bei Anthropic.

Ein Opt-out erreicht die Antworten tatsächlich. Google-Extended umfasst neben dem Training auch das Grounding in Gemini, also haben die 579 Websites (12.2 %), die es blockieren, Google gebeten, ihre Seiten nicht zur Fundierung von Gemini-Antworten zu nutzen, und bleiben dabei in der Google-Suche.

Das Problem mit der Sammelregel

Eine Regel für User-agent: * gilt für jeden Crawler, den die Datei nicht nennt. Eine Website, die unter * Disallow: / schreibt und dann Googlebot und Bingbot namentlich erlaubt, hat, vielleicht ohne es zu wollen, auch jeden KI-Such-Crawler blockiert. Wir fanden 126 Websites mit einer Komplettsperre; 56 davon lassen Googlebot zu, und 38 von diesen lassen OAI-SearchBot außen vor. Nur 18 Websites mit Komplettsperre nennen OAI-SearchBot als Ausnahme.

So entstehen 100 der 284 Sperren von OAI-SearchBot und 108 der 256 Sperren von Claude-SearchBot, ohne dass der Bot je genannt wird. Wenn Sie die KI-Suche hereinlassen wollten, ist eine Allowlist, die vor diesen Crawlern geschrieben wurde, die erste Stelle zum Nachsehen.

Wer die KI-Suche blockiert

Unter den 200 bestplatzierten Websites, die wir lesen konnten, blockieren diese mindestens einen von OAI-SearchBot, Claude-SearchBot und PerplexityBot auf ihrer Startseite:

Soziale Netzwerke und große Verlage dominieren die Liste. Die meisten sind Websites mit Lizenzgeschäften oder Content-Deals, die sie schützen wollen, nicht Marken, die von Käufern gefunden werden möchten.

Die vollständige Tabelle

Anteil der 4,762 Websites mit lesbarer robots.txt, die jeden Crawler auf ihrer Startseite sperren, insgesamt und nach Tranco-Rang aufgeteilt.

Was Sie mit Ihrer eigenen robots.txt tun sollten

1. Entscheiden Sie Training und Suche getrennt. GPTBot oder ClaudeBot zu blockieren, entfernt Sie nicht aus den Antworten von ChatGPT oder Claude; OAI-SearchBot, Claude-SearchBot oder PerplexityBot zu blockieren, schon.
2. Lesen Sie Ihre Gruppe User-agent: *. Wenn sie / sperrt, ist jeder KI-Crawler blockiert, den Sie nicht genannt haben.
3. Prüfen Sie die Live-Datei, nicht die in Ihrem Repository. 199 Websites in unserer Stichprobe beantworten /robots.txt mit einer HTML-Seite, die Crawler als gar keine Regeln lesen.
4. Testen Sie es. Der KI-Crawler-Checker wendet denselben Parser wie hier auf Ihre Website an, und KI-Crawler und robots.txt enthält eine Beispieldatei, die Antwort-Crawler hereinlässt und Trainings-Crawler draußen hält.

Methode und Grenzen

Wir haben die Top-10,000-Domains der Tranco-Liste GQ3LK genommen (ein Forschungsranking, das Daten von Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic und Farsight vom 28. September bis 27. Oktober 2026 kombiniert). Am 28. Oktober 2026 rief unser Crawler die Startseite jeder Domain per HTTPS ab und folgte Weiterleitungen. Viele Tranco-Einträge sind CDN-, API- oder Tracking-Domains ohne Website: 2,155 gaben überhaupt keine HTTP-Antwort, 1,415 antworteten mit 403. Wir behielten die 5,480 Domains, deren Startseite eine HTML-Seite mit Status 200 lieferte, einmal pro finalem Hostnamen nach Weiterleitungen gezählt. Davon lieferten 4,762 eine robots.txt, die wir auswerten konnten; 405 hatten keine (eine 4xx-Antwort, also keine Regeln), 199 lieferten eine HTML-Seite und 114 schlugen fehl oder antworteten mit 5xx.

Jede robots.txt wurde mit dem RFC-9309-Parser hinter unserem KI-Crawler-Checker gelesen: Ein Crawler folgt den Gruppen, die sein Product Token nennen, greift nur dann auf * zurück, wenn keine das tut, und die längste passende Regel gewinnt. „Blockiert“ heißt, dass die Datei diesem Crawler den Startseiten-Pfad / verbietet, so sieht ein vollständiges Opt-out aus. Eine Website, die nur einige Bereiche sperrt, zählt als erlaubt. Die Anteile beziehen sich auf Websites mit lesbarer robots.txt; als Anteile aller 5,480 Websites sind sie etwas niedriger. Die Liste der Crawler und ihre Rollen stammen aus der Dokumentation des jeweiligen Betreibers, verlinkt im Checker; Bytespider, Amazonbot und das ausgemusterte Token anthropic-ai sind enthalten, weil viele Dateien sie noch nennen.

Unser Crawler gab sich als Mentioned-Research/1.0 zu erkennen. Websites, die unbekannte Bots an der Firewall abweisen, fehlen in der Stichprobe, und diese Websites sind wahrscheinlich auch bei KI-Crawlern strenger. Betrachten Sie jede Sperrquote hier daher als Untergrenze, nicht als Schätzung für das ganze Web. Die robots.txt äußert eine Präferenz; ob ein Crawler sie befolgt, zeigt sie nicht, und manche Websites liefern den genannten Crawlern womöglich eine andere Datei aus. Dies ist eine Momentaufnahme eines einzigen Tages.

So zitieren Sie dies

Sie dürfen diese Zahlen gern mit einem Link zurück zitieren und grafisch darstellen. Zitiervorschlag: Mentioned, „Which Sites Block AI Crawlers? We Read 4,762 robots.txt Files“, 28. Oktober 2026, https://mentioned.at/learn/ai-crawler-blocking-study. Daten und Text stehen unter CC BY 4.0.

Fragen

Kostenlosen Check starten