Welche KI-Crawler schlagen Website-Betreiber nach? Suchdaten zu 16 Bots

Zentrale Ergebnisse

• GPTBot ist der meistgesuchte eindeutige KI-Crawler-Name, mit 1.900 Suchanfragen im Monat weltweit.
• Bytespider von ByteDance erreicht 84 % des Suchinteresses von GPTBot (1.600 im Monat) — mehr als jeder Such-Crawler.
• Die vier Trainings-Crawler, die wir sauber trennen konnten (GPTBot, Bytespider, CCBot, Meta-ExternalAgent), kommen auf 5.500 globale Suchanfragen im Monat. Die vier KI-Such-Crawler (OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot) kommen auf 2.000 — 2,8× weniger Aufmerksamkeit für die Bots, die entscheiden, ob Sie zitiert werden können.
• Nutzerausgelöste Fetcher (ChatGPT-User, Claude-User, Perplexity-User) werden kaum gesucht: zusammen 190 im Monat.
• Bei diesen 15 Namen kommen nur 17 % der Suchanfragen aus den USA: Die Verwaltung von KI-Crawlern ist ein globales Thema.

Die Daten

Das ClaudeBot-Problem

„claudebot“ kommt auf 4.700 US-Suchanfragen und 14.000 weltweit im Monat und wäre damit mit Abstand der meistgesuchte Crawler. Wir haben ihn nicht in die Tabelle aufgenommen, weil Ahrefs ihn dem übergeordneten Thema „claude“ zuordnet — ein großer Teil dieser Suchen kommt mit hoher Wahrscheinlichkeit von Leuten, die den Claude-Chatbot suchen, nicht den Crawler von Anthropic. Sehen Sie diese Zahl als Obergrenze, nicht als Ergebnis.

Warum die Lücke wichtig ist

Wenn Sie einen Trainings-Crawler wie GPTBot blockieren, bleiben Ihre Seiten aus künftigem Modelltraining heraus; aus den Live-Suchantworten von ChatGPT verschwinden Sie dadurch nicht. Die Crawler, die tatsächlich über Live-Zitate entscheiden — OAI-SearchBot, Claude-SearchBot, PerplexityBot — bekommen nur einen Bruchteil der Aufmerksamkeit. Das Risiko: Ein Website-Betreiber liest über GPTBot, schreibt eine pauschale Sperre und schaltet damit die Such-Crawler gleich mit ab. Unser Leitfaden zu KI-Crawlern und robots.txt listet auf, was laut jedem Betreiber das Blockieren seines Bots bewirkt, mit Links zur Dokumentation. Unser kostenloser KI-Crawler-Checker zeigt, welche davon Ihre robots.txt aktuell zulässt.

Suchen zum Thema Blockieren sind selten: „block ai crawlers“ kommt auf etwa 70 US-Suchanfragen im Monat, „block gptbot“ auf etwa 40. Die meisten, die den Namen eines Bots suchen, wollen offenbar erst wissen, was er ist, bevor sie entscheiden.

Methode und Grenzen

Die Suchvolumen sind Schätzungen des Ahrefs Keywords Explorer für durchschnittliche monatliche Suchanfragen, abgerufen am 25. Oktober 2026 über unseren SiteWide-Connector. Es sind modellierte Schätzungen, keine Zahlen von Google selbst, und Ahrefs rundet sie. KD ist der Keyword-Schwierigkeitsgrad von Ahrefs (0–100). CPC ist die Ahrefs-Schätzung dessen, was Werbetreibende in den USA pro Klick zahlen. Die Rollenbezeichnungen fassen zusammen, was jeder Betreiber dokumentiert; Quellen finden Sie im verlinkten Leitfaden. Suchinteresse misst Neugier, nicht Crawl-Volumen oder Traffic — ein Bot kann intensiv crawlen und selten gesucht werden.

So zitieren Sie dies

Sie dürfen diese Zahlen gern zitieren und visualisieren, mit Link zurück. Vorgeschlagene Quellenangabe: Mentioned, „Which AI Crawlers Do Site Owners Look Up? Search Data for 16 Bots,“ 25. Oktober 2026, https://mentioned.at/learn/ai-crawler-search-demand. Daten und Text sind unter CC BY 4.0 veröffentlicht.

Kostenlosen Check starten