Lernen

Welche KI-Crawler schlagen Website-Betreiber nach? Suchdaten zu 16 Bots

Wenn in den Server-Logs ein unbekannter User-Agent auftaucht, suchen Leute nach seinem Namen. Wir haben diese Nachfrage für 16 KI-Crawler ausgewertet — und festgestellt: Die Bots, die darüber entscheiden, ob Sie zitiert werden, schlägt kaum jemand nach.

Ein Raster aus Crawler-Robotern, drei davon als blockiert markiert
Forschung

Zentrale Ergebnisse

Die Daten

User-AgentBetreiber · RolleUSA / MonatWeltweit / Monat
GPTBotOpenAI · Training3501,900
BytespiderByteDance · Crawler2001,600
OAI-SearchBotOpenAI · Suche2001,100
CCBotCommon Crawl · Trainingskorpus1501,000
Meta-ExternalAgentMeta · Training1501,000
AmazonbotAmazon150800
PerplexityBotPerplexity · Suche80500
Google-ExtendedGoogle · Token für Gemini-Training und Grounding80450
Claude-SearchBotAnthropic · Suche50250
ChatGPT-UserOpenAI · nutzerausgelöster Abruf40150
DuckAssistBotDuckDuckGo · Antworten30150
Applebot-ExtendedApple · Training-Token30100
anthropic-aiAnthropic · Legacy-Token1080
Claude-UserAnthropic · nutzerausgelöster Abruf1020
Perplexity-UserPerplexity · nutzerausgelöster Abruf1020

Das ClaudeBot-Problem

„claudebot“ kommt auf 4.700 US-Suchanfragen und 14.000 weltweit im Monat und wäre damit mit Abstand der meistgesuchte Crawler. Wir haben ihn nicht in die Tabelle aufgenommen, weil Ahrefs ihn dem übergeordneten Thema „claude“ zuordnet — ein großer Teil dieser Suchen kommt mit hoher Wahrscheinlichkeit von Leuten, die den Claude-Chatbot suchen, nicht den Crawler von Anthropic. Sehen Sie diese Zahl als Obergrenze, nicht als Ergebnis.

Warum die Lücke wichtig ist

Wenn Sie einen Trainings-Crawler wie GPTBot blockieren, bleiben Ihre Seiten aus künftigem Modelltraining heraus; aus den Live-Suchantworten von ChatGPT verschwinden Sie dadurch nicht. Die Crawler, die tatsächlich über Live-Zitate entscheiden — OAI-SearchBot, Claude-SearchBot, PerplexityBot — bekommen nur einen Bruchteil der Aufmerksamkeit. Das Risiko: Ein Website-Betreiber liest über GPTBot, schreibt eine pauschale Sperre und schaltet damit die Such-Crawler gleich mit ab. Unser Leitfaden zu KI-Crawlern und robots.txt listet auf, was laut jedem Betreiber das Blockieren seines Bots bewirkt, mit Links zur Dokumentation. Unser kostenloser KI-Crawler-Checker zeigt, welche davon Ihre robots.txt aktuell zulässt.

Suchen zum Thema Blockieren sind selten: „block ai crawlers“ kommt auf etwa 70 US-Suchanfragen im Monat, „block gptbot“ auf etwa 40. Die meisten, die den Namen eines Bots suchen, wollen offenbar erst wissen, was er ist, bevor sie entscheiden.

Suchinteresse ist das eine; was Websites tatsächlich blockieren, das andere. Unser Crawl von 4,762 robots.txt-Dateien fand in der Praxis dasselbe Muster: Trainings-Crawler werden etwa doppelt so oft blockiert wie KI-Such-Crawler.

Methode und Grenzen

Die Suchvolumen sind Schätzungen des Ahrefs Keywords Explorer für durchschnittliche monatliche Suchanfragen, abgerufen am 25. Oktober 2026 über unseren SiteWide-Connector. Es sind modellierte Schätzungen, keine Zahlen von Google selbst, und Ahrefs rundet sie. KD ist der Keyword-Schwierigkeitsgrad von Ahrefs (0–100). CPC ist die Ahrefs-Schätzung dessen, was Werbetreibende in den USA pro Klick zahlen. Die Rollenbezeichnungen fassen zusammen, was jeder Betreiber dokumentiert; Quellen finden Sie im verlinkten Leitfaden. Suchinteresse misst Neugier, nicht Crawl-Volumen oder Traffic — ein Bot kann intensiv crawlen und selten gesucht werden.

So zitieren Sie dies

Sie dürfen diese Zahlen gern zitieren und visualisieren, mit Link zurück. Vorgeschlagene Quellenangabe: Mentioned, „Which AI Crawlers Do Site Owners Look Up? Search Data for 16 Bots,“ 25. Oktober 2026, https://mentioned.at/learn/ai-crawler-search-demand. Daten und Text sind unter CC BY 4.0 veröffentlicht.

Kostenlosen Check starten