Eine robots.txt-Zeile, die ein Crawler nicht versteht, wird kommentarlos übersprungen. Wir haben die robots.txt von 4,762 beliebten Websites ausgewertet, um die Zeilen zu zählen, die nichts bewirken, und die neuen KI-Direktiven, die Websites hinzuzufügen beginnen.
User-agent.ai-train=no; 223 sagen search=yes.Noindex, eine Zeile, die Googles Parser ignoriert./robots.txt mit einer HTML-Seite, und 6 haben HTML in die Datei selbst eingefügt.RFC 9309, der robots.txt-Standard, definiert user-agent, allow und disallow. Google ergänzt sitemap und sagt, dass „other fields such as crawl-delay aren’t supported“ und dass andere Regeln von seinem Parser ignoriert werden (Google Search Central). Unser Parser folgt dem RFC und akzeptiert zusätzlich die weit verbreiteten crawl-delay, host und clean-param. Content-Signal beiseitegelassen, hat er Folgendes übersprungen:
| Problem | Dateien | Anteil | Was ein Crawler tut |
|---|---|---|---|
| Unbekannte Direktive | 108 | 2.3% | Überspringt die Zeile |
Pfad, der nicht mit / beginnt | 44 | 0.9% | Kann die Regel ignorieren |
| Zeile ohne Doppelpunkt | 27 | 0.6% | Überspringt die Zeile |
Regel vor jedem User-agent | 6 | 0.1% | Die Regel gehört zu keiner Gruppe, also befolgt sie niemand |
Die unbekannten Direktiven sind ein Archiv von Ideen, die nie Standard wurden. Neben Content-Signal waren die häufigsten Noindex (24 Dateien), KI-bezogene Erfindungen wie LLMs, LLM-policy und Agentmap (10, 8 und 8 Dateien) sowie die alten Request-rate und Visit-time. Eine Zeile in der robots.txt, die auf Ihre llms.txt zeigt, schadet nicht, aber kein uns bekannter Crawler liest sie dort.
Zeilen ohne Doppelpunkt waren meist etwas ganz anderes: In 6 Dateien war HTML oder CSS einer Webseite in die robots.txt geraten.
Die Content Signals von Cloudflare fügen der robots.txt eine Zeile hinzu, die sagt, wofür die Inhalte einer Website genutzt werden dürfen: search (einen Suchindex aufbauen und Links sowie kurze Auszüge liefern), ai-input (Inhalte zum Antwortzeitpunkt in ein Modell einspeisen, etwa für Retrieval oder Grounding) und ai-train (Modelle trainieren oder feinabstimmen). Cloudflare stellt klar, dass es Präferenzen sind, die Crawler ignorieren können. In unserer Stichprobe:
| Signal | Auf ja gesetzt | Auf nein gesetzt | Nicht angegeben |
|---|---|---|---|
search | 223 | 0 | 1 |
ai-input | 107 | 10 | 107 |
ai-train | 62 | 161 | 1 |
Das Muster passt zu dem, was Websites mit Crawler-Regeln tun: ja zur Suche, nein zum Training, und bei KI-Antworten sagen die meisten ja oder gar nichts. Nur 10 von 224 Websites widersprechen ai-input, dem Signal, das das Zitiertwerden in KI-Antworten abdeckt. Unser Parser behandelt die Zeile als unbekannt, wie jeder Crawler, der sie nicht übernommen hat; in den Fehlerzahlen oben haben wir sie nicht mitgezählt.
Noindex und alles andere, was Google als nicht unterstützt führt. Um eine Seite aus den Ergebnissen herauszuhalten, nutzen Sie ein noindex-Meta-Tag auf der Seite und lassen Sie Crawler sie abrufen, damit sie das Tag sehen./ und stellen Sie jede Regel unter eine User-agent-Zeile.Wir haben die Top-10,000-Domains der Tranco-Liste GQ3LK genommen (ein Forschungsranking, das Daten von Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic und Farsight vom 28. September bis 27. Oktober 2026 kombiniert). Am 28. Oktober 2026 rief unser Crawler die Startseite jeder Domain per HTTPS ab und folgte Weiterleitungen. Viele Tranco-Einträge sind CDN-, API- oder Tracking-Domains ohne Website: 2,155 gaben überhaupt keine HTTP-Antwort, 1,415 antworteten mit 403. Wir behielten die 5,480 Domains, deren Startseite eine HTML-Seite mit Status 200 lieferte, einmal pro finalem Hostnamen nach Weiterleitungen gezählt. 4,762 davon lieferten eine robots.txt, die wir auswerten konnten; die mittlere Größe lag bei 600 Bytes.
Die Dateien wurden mit dem RFC-9309-Parser hinter unserem KI-Crawler-Checker ausgewertet, der jede Zeile meldet, die ein Crawler überspringen würde. Die Direktivenzahlen sind der Anteil der Dateien, die das jeweilige Feld mindestens einmal enthalten, Kommentare entfernt. Andere Parser sind stellenweise nachsichtiger (der von Google akzeptiert manche Tippfehler, unserer auch), eine gemeldete Zeile ist also eine, die ein strenger Leser ignoriert, kein Beweis, dass jeder Crawler das tut. Unser Crawler gab sich als Mentioned-Research/1.0 zu erkennen. Websites, die unbekannte Bots an der Firewall abweisen, fehlen in der Stichprobe, und diese Websites sind wahrscheinlich auch bei KI-Crawlern strenger. Betrachten Sie jede Sperrquote hier daher als Untergrenze, nicht als Schätzung für das ganze Web.
Sie dürfen diese Zahlen gern mit einem Link zurück zitieren und grafisch darstellen. Zitiervorschlag: Mentioned, „robots.txt Mistakes and New Directives in 4,762 Top Sites“, 28. Oktober 2026, https://mentioned.at/learn/robots-txt-errors. Daten und Text stehen unter CC BY 4.0.
Nein. Googles robots.txt-Dokumentation sagt, dass andere Felder als user-agent, allow, disallow und sitemap, etwa crawl-delay, nicht unterstützt werden. Anthropic sagt, seine Crawler beachten Crawl-delay.
Eine von Cloudflare vorgeschlagene Zeile, die angibt, wie die Inhalte einer Website genutzt werden dürfen: search, ai-input (Nutzung in KI-Antworten) und ai-train. In unserem Crawl vom Oktober 2026 enthielten 4.7 % der robots.txt-Dateien von Top-Websites eine solche Zeile.
Nicht bei Google, dessen Parser andere Regeln als allow, disallow und user-agent ignoriert. Nutzen Sie stattdessen ein Robots-Meta-Tag noindex oder einen X-Robots-Tag-Header auf der Seite.