像 AI 爬虫那样查看一个页面:没有 JavaScript,只有 HTML。检查它的 JSON-LD、让它无法出现在回答里的 robots 标签,以及页面实际有多少内容。
application/ld+json 块:能否解析(带尾随逗号的块会被整个忽略)、声明了哪些 schema.org 类型(包括 @graph 内的)、以及每个类型通常带有的属性中缺少哪些。X-Robots-Tag 头里的 noindex、nosnippet 和 max-snippet:0。<div id="root"> 的页面,对不渲染的爬虫来说几乎是空的。“通常带有”的清单来自 schema.org 和 Google 的结构化数据文档。它们是完整度检查,不是排名公式。模型公司之外没有人确切知道标记在回答中是怎么被加权的。
Organization 块:名称、URL、logo,以及指向你的 LinkedIn、G2 和 Crunchbase 主页的 sameAs 链接。解析器就是靠它把每个页面都关联到同一家公司。SoftwareApplication 或 Product,并带一个与你价格页一致的 offers 块。Article,带上作者以及真实的 datePublished 和 dateModified 值,让读者能判断页面有多新。然后用 AI 爬虫检查器确认爬虫到底能不能进来。
没有公开证据表明它单独就能做到。但它确实让页面上的事实对任何读取它的解析器来说都毫不含糊,Google 也用它来生成富媒体搜索结果。我们的指南 schema 标记与 AI 引用梳理了哪些是已知的、哪些不是。
因为大多数 AI 爬虫就是这样。Vercel 在 2024 年 12 月对爬虫流量的研究发现,主要的 AI 爬虫会获取 JavaScript 文件但不运行它们。只有在客户端渲染之后才出现的文本和 JSON-LD,对它们是不可见的。
首页上的 Organization,带上你的名称、logo、URL 和指向你各个主页的 sameAs 链接。在描述你所卖产品的地方使用 SoftwareApplication 或 Product,并带真实的 offers 块。指南上用 Article,带作者和日期。FAQPage 只用在问题和答案在页面上可见的地方。
Google 表示,AI Overviews 和 AI Mode 遵循与搜索相同的预览控制。nosnippet robots 标签或 max-snippet:0 会阻止 Google 显示页面上的文字,所以在那里也无法被引用。检查器会同时读取 robots meta 标签和 X-Robots-Tag 头。
不一样。Google 的测试告诉你页面是否有资格获得 Google 的富媒体搜索结果,而且它会渲染 JavaScript。这个工具读取的是不渲染的爬虫拿到的原始 HTML,并对照每个类型通常带有的属性检查完整度。两个都用。
干净的标记让你的页面更容易被读取。它不会告诉你买家询问时 ChatGPT、Claude 或 Gemini 会不会推荐你,也不会告诉你它们转而怎么说你的竞品。Mentioned 可以:它每周用同样的方式问你的买家会问的问题,并把最先该修的排好序。