Wenn in den Server-Logs ein unbekannter User-Agent auftaucht, suchen Leute nach seinem Namen. Wir haben diese Nachfrage für 16 KI-Crawler ausgewertet — und festgestellt: Die Bots, die darüber entscheiden, ob Sie zitiert werden, schlägt kaum jemand nach.
| User-Agent | Betreiber · Rolle | USA / Monat | Weltweit / Monat |
|---|---|---|---|
GPTBot | OpenAI · Training | 350 | 1,900 |
Bytespider | ByteDance · Crawler | 200 | 1,600 |
OAI-SearchBot | OpenAI · Suche | 200 | 1,100 |
CCBot | Common Crawl · Trainingskorpus | 150 | 1,000 |
Meta-ExternalAgent | Meta · Training | 150 | 1,000 |
Amazonbot | Amazon | 150 | 800 |
PerplexityBot | Perplexity · Suche | 80 | 500 |
Google-Extended | Google · Token für Gemini-Training und Grounding | 80 | 450 |
Claude-SearchBot | Anthropic · Suche | 50 | 250 |
ChatGPT-User | OpenAI · nutzerausgelöster Abruf | 40 | 150 |
DuckAssistBot | DuckDuckGo · Antworten | 30 | 150 |
Applebot-Extended | Apple · Training-Token | 30 | 100 |
anthropic-ai | Anthropic · Legacy-Token | 10 | 80 |
Claude-User | Anthropic · nutzerausgelöster Abruf | 10 | 20 |
Perplexity-User | Perplexity · nutzerausgelöster Abruf | 10 | 20 |
„claudebot“ kommt auf 4.700 US-Suchanfragen und 14.000 weltweit im Monat und wäre damit mit Abstand der meistgesuchte Crawler. Wir haben ihn nicht in die Tabelle aufgenommen, weil Ahrefs ihn dem übergeordneten Thema „claude“ zuordnet — ein großer Teil dieser Suchen kommt mit hoher Wahrscheinlichkeit von Leuten, die den Claude-Chatbot suchen, nicht den Crawler von Anthropic. Sehen Sie diese Zahl als Obergrenze, nicht als Ergebnis.
Wenn Sie einen Trainings-Crawler wie GPTBot blockieren, bleiben Ihre Seiten aus künftigem Modelltraining heraus; aus den Live-Suchantworten von ChatGPT verschwinden Sie dadurch nicht. Die Crawler, die tatsächlich über Live-Zitate entscheiden — OAI-SearchBot, Claude-SearchBot, PerplexityBot — bekommen nur einen Bruchteil der Aufmerksamkeit. Das Risiko: Ein Website-Betreiber liest über GPTBot, schreibt eine pauschale Sperre und schaltet damit die Such-Crawler gleich mit ab. Unser Leitfaden zu KI-Crawlern und robots.txt listet auf, was laut jedem Betreiber das Blockieren seines Bots bewirkt, mit Links zur Dokumentation. Unser kostenloser KI-Crawler-Checker zeigt, welche davon Ihre robots.txt aktuell zulässt.
Suchen zum Thema Blockieren sind selten: „block ai crawlers“ kommt auf etwa 70 US-Suchanfragen im Monat, „block gptbot“ auf etwa 40. Die meisten, die den Namen eines Bots suchen, wollen offenbar erst wissen, was er ist, bevor sie entscheiden.
Suchinteresse ist das eine; was Websites tatsächlich blockieren, das andere. Unser Crawl von 4,762 robots.txt-Dateien fand in der Praxis dasselbe Muster: Trainings-Crawler werden etwa doppelt so oft blockiert wie KI-Such-Crawler.
Die Suchvolumen sind Schätzungen des Ahrefs Keywords Explorer für durchschnittliche monatliche Suchanfragen, abgerufen am 25. Oktober 2026 über unseren SiteWide-Connector. Es sind modellierte Schätzungen, keine Zahlen von Google selbst, und Ahrefs rundet sie. KD ist der Keyword-Schwierigkeitsgrad von Ahrefs (0–100). CPC ist die Ahrefs-Schätzung dessen, was Werbetreibende in den USA pro Klick zahlen. Die Rollenbezeichnungen fassen zusammen, was jeder Betreiber dokumentiert; Quellen finden Sie im verlinkten Leitfaden. Suchinteresse misst Neugier, nicht Crawl-Volumen oder Traffic — ein Bot kann intensiv crawlen und selten gesucht werden.
Sie dürfen diese Zahlen gern zitieren und visualisieren, mit Link zurück. Vorgeschlagene Quellenangabe: Mentioned, „Which AI Crawlers Do Site Owners Look Up? Search Data for 16 Bots,“ 25. Oktober 2026, https://mentioned.at/learn/ai-crawler-search-demand. Daten und Text sind unter CC BY 4.0 veröffentlicht.