前 1,000 个网站首页的结构化数据：AI 爬虫看到了什么

主要发现

• 47.5% 的头部网站首页在所提供的 HTML 中带有 JSON-LD，51.9% 带有某种结构化数据，包括 microdata 和 RDFa。
• 只有 31.3% 用 Organization 或 Corporation 节点标明网站背后的公司。其中 85% 用 sameAs 链接到其他地方的资料页。
• WebSite 是最常见的类型，出现在 29.8% 的首页上，还有 96 个仍声明了 SearchAction。
• 首页上的 FAQPage 很少见：486 个中有 13 个。
• 22.8% 的首页在 JavaScript 运行前显示不到 100 个词。不渲染的爬虫看到的几乎是空白页。原始 HTML 中首页词数的中位数是 709。
• 基础要素几乎普及：95% 有标题，87% 声明了语言，83% 有 meta 描述，70% 有规范网址。

为什么原始 HTML 才是关键数字

Vercel 2024年12月对爬虫流量的分析发现，“none of the major AI crawlers currently render JavaScript”，包括 GPTBot、ClaudeBot 和 PerplexityBot（Vercel）。Googlebot 会渲染页面；按这份分析，AI 爬虫只拿服务器发来的内容。所以由标签管理器注入的 JSON-LD，或完全在浏览器中构建的首页，在你的浏览器里看起来完整，在它们眼中却可能是空的。本页的所有数据都是这样测得的：一次请求，不运行 JavaScript。

完整情况

结构化数据能让你被引用吗？

没有人证明过。Google 表示出现在 AI Overviews 或 AI Mode 中不需要特殊标记（Google Search Central），AI 公司的爬虫文档也没有提到 schema。带 sameAs 链接的 Organization 节点所做的，是在一个机器可读的地方说明你是谁、你还在哪里存在，而这正是助手容易出错的那类事实。我们的schema 标记与 AI 引用指南梳理了相关证据。

在你自己的首页上要检查什么

1. 看源代码，而不是检查器。如果你的 JSON-LD 只在脚本运行后才出现，不渲染的爬虫就看不到它。
2. 添加一个 Organization 节点，包含你的名称、网址、标志，以及指向你真实资料页的 sameAs 链接。
3. 把你的核心主张以文字写进 HTML。用一句平实的话说明你卖什么、卖给谁，不用 JavaScript 也能读到。
4. 运行结构化数据检查器，它读取你页面的方式与本研究相同。

方法与局限

我们选取了 Tranco 列表 GQ3LK 的前 10,000 个域名（这是一个研究用排名，综合了 Chrome UX Report、Cloudflare Radar、Cisco Umbrella、Majestic 和 Farsight 在 2026年9月28日至10月27日的数据）。2026年10月28日，我们的爬虫通过 HTTPS 请求每个域名的首页，并跟随重定向。许多 Tranco 条目是没有网站的 CDN、API 或跟踪域名：2,155 个完全没有 HTTP 响应，1,415 个返回 403。我们保留了首页返回状态 200 HTML 页面的 5,480 个域名，按重定向后的最终主机名各计一次。研究的这一部分使用排名前 1,000 的 486 个网站；3 个超过 3 MB 的首页被排除。

每个首页都用我们结构化数据检查器背后的解析器读取：JSON-LD 块及其 schema.org 类型、microdata 和 RDFa 属性、robots 元标签和 X-Robots-Tag 标头，以及所提供 HTML 中可见文字的词数。类型按每个首页计一次，包括嵌套节点。我们只测量了首页；产品页和文章页通常有更多标记。我们的爬虫自称 Mentioned-Research/1.0。在防火墙层拒绝未知机器人的网站不在样本中，而这些网站很可能对 AI 爬虫也更严格，所以请把这里的每个屏蔽率看作下限，而不是对整个网络的估计。

引用本文

欢迎引用这些数据并制作图表，请附上指向本页的链接。建议引用格式：Mentioned, “Structured Data on the Top 1,000 Homepages: What AI Crawlers See,” 2026年10月28日, https://mentioned.at/learn/homepage-structured-data-study。数据和文本以 CC BY 4.0 发布。

问题

免费检查一次