Verbreitung von llms.txt: Wie viele der Top-10,000-Websites haben eine?

Zentrale Ergebnisse

• 16.1 % der Top-Websites liefern eine llms.txt aus (881 von 5,480), in unserem Crawl der Tranco-Top-10,000 vom 28. Oktober 2026.
• Die Top 1,000 liegen vorn: 22.5 % haben eine, gegenüber 15.4 % der Websites auf den Rängen 1,001 bis 10,000.
• Etwa die Hälfte ist fehlerhaft. 414 der 881 Dateien (47 %) entsprechen der Struktur von llmstxt.org. Der übliche Fehler ist Fließtext in einem Linkabschnitt (409 Dateien).
• 11.3 % der Websites beantworten /llms.txt mit einer Webseite, meist ihrer Startseite, die im Browser wie eine Datei aussieht und für einen Parser nichts ist.
• Die typische Datei ist klein: im Median 7,284 Zeichen und 33 Links. 59 Dateien sind länger als 100,000 Zeichen.
• 36 Websites veröffentlichen eine llms.txt und blockieren GPTBot, und 4 blockieren OAI-SearchBot, sodass OpenAIs eigener Such-Crawler den für ihn geschriebenen Leitfaden womöglich nicht abruft.

Die Verbreitung sinkt mit dem Rang, von 22.5 % in den Top 1,000 auf 10.6 % im Bereich 9,001–10,000, wenn auch nicht gleichmäßig: Der Bereich 2,001–3,000 liegt gleichauf mit der Spitze. Software- und Infrastrukturunternehmen stellen einen großen Teil der frühen Liste. In den Top 200, die wir lesen konnten, gehören zu den Anwendern cloudflare.com, fastly.com, wordpress.org, adobe.com, digicert.com, opera.com, sentry.io, intuit.com, samsung.com, dropbox.com, gravatar.com, kaspersky.com, ubuntu.com, shopify.com.

Wie die Dateien aussehen

Das Format von llmstxt.org ist kurz: ein H1 mit dem Namen der Website, eine optionale Blockquote-Zusammenfassung, optionale Absätze, dann H2-Abschnitte, die nur Linklisten enthalten. Die drei häufigsten Fehler, die wir fanden:

• Fließtext oder einfache Aufzählungen in einem H2-Abschnitt (409 Dateien). Die Spezifikation reserviert diese Abschnitte für Einträge wie - [name](url): notes, ein Leser, der ihr folgt, überspringt also den Rest.
• Mehr als ein H1 (90 Dateien), meist ein langes Dokument, das komplett eingefügt wurde.
• Kein H1 am Anfang (42 Dateien), oft weil die Datei mit ihrer eigenen URL oder einem Kommentar beginnt.

Liest sie überhaupt jemand?

Nicht auf eine Weise, die die großen Assistenten bestätigt hätten. Google sagt klar, dass Sie „don’t need to create new machine readable files, AI text files, or markup“, um in AI Overviews oder AI Mode zu erscheinen (Google Search Central), und die Crawler-Dokumentation von OpenAI, Anthropic und Perplexity erwähnt llms.txt nicht. Ihre eindeutigsten Leser sind heute Coding-Agenten und Dokumentations-Tools. Die Zahl von 16.1 % misst also, wie viele Teams entschieden haben, dass es zwanzig Minuten wert ist, nicht einen Ranking-Faktor. Unser Leitfaden Was ist llms.txt erklärt, was hineingehört.

Wenn Sie eine veröffentlichen

1. Prüfen Sie, ob sie die Datei liefert. Öffnen Sie /llms.txt und sehen Sie sich den Quelltext an. Sehen Sie das HTML Ihrer Startseite, haben Sie keine.
2. Beschränken Sie Abschnitte auf Links. Erklärungen gehören in die Zusammenfassung oder in Absätze vor dem ersten H2.
3. Halten Sie sie als Index. Eine Liste der Seiten, die Käuferfragen beantworten, mit einer Notiz zu jeder, schlägt eine Kopie Ihrer Website.
4. Lassen Sie die Crawler herein. Eine Datei für Sprachmodelle hilft wenig, wenn die robots.txt die Crawler blockiert, die sie abrufen würden. Siehe welche Websites KI-Crawler blockieren.
5. Validieren Sie sie. Der llms.txt-Validator nutzt denselben Code wie diese Studie.

Methode und Grenzen

Wir haben die Top-10,000-Domains der Tranco-Liste GQ3LK genommen (ein Forschungsranking, das Daten von Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic und Farsight vom 28. September bis 27. Oktober 2026 kombiniert). Am 28. Oktober 2026 rief unser Crawler die Startseite jeder Domain per HTTPS ab und folgte Weiterleitungen. Viele Tranco-Einträge sind CDN-, API- oder Tracking-Domains ohne Website: 2,155 gaben überhaupt keine HTTP-Antwort, 1,415 antworteten mit 403. Wir behielten die 5,480 Domains, deren Startseite eine HTML-Seite mit Status 200 lieferte, einmal pro finalem Hostnamen nach Weiterleitungen gezählt.

Für jede Website riefen wir /llms.txt auf dem finalen Hostnamen ab. Wir werteten eine Website als Besitzerin einer Datei, wenn die Antwort 200 war, kein HTML, und sich als Markdown las (eine Überschrift oder ein Markdown-Link nahe am Anfang). 617 Websites lieferten HTML, 44 etwas anderes (meist JSON-Fehlermeldungen), 3,789 lieferten 404 oder einen anderen 4xx-Code, und 149 schlugen fehl. Die Struktur wurde mit dem Validator hinter unserem llms.txt-Validator geprüft; „entspricht“ heißt keine Fehler gegenüber dem Format von llmstxt.org, Warnungen erlaubt. Wir riefen außerdem /llms-full.txt ab.

Unser Crawler gab sich als Mentioned-Research/1.0 zu erkennen. Websites, die unbekannte Bots an der Firewall abweisen, fehlen in der Stichprobe, und diese Websites sind wahrscheinlich auch bei KI-Crawlern strenger. Betrachten Sie jede Sperrquote hier daher als Untergrenze, nicht als Schätzung für das ganze Web. Die Zahlen beschreiben beliebte Websites, nicht das Web insgesamt, und einen Tag im Oktober 2026.

So zitieren Sie dies

Sie dürfen diese Zahlen gern mit einem Link zurück zitieren und grafisch darstellen. Zitiervorschlag: Mentioned, „llms.txt Adoption: How Many of the Top 10,000 Sites Have One?“, 28. Oktober 2026, https://mentioned.at/learn/llms-txt-adoption. Daten und Text stehen unter CC BY 4.0.

Fragen

Kostenlosen Check starten