不少开发者发现，在Google官方的PageSpeed Insights（pagespeed.web.dev）检测项目中，新增了与AI智能体浏览（Agent Browsing）相关的体验检测，其中就包含了llms.txt规范检查。这也让很多人产生疑问，Google不是一直表示llms.txt不是SEO和GEO排名因素吗？为什么现在官方工具又开始检测它了？

首先需要明确一点，Google Search和PageSpeed（Lighthouse）属于不同产品团队，两者关注的目标完全不同。

负责Google搜索算法的团队一直保持相同态度。官方多次表示llms.txt不会影响网页收录，不参与搜索排名计算，AI Overviews也不会依赖llms.txt进行内容排序。原因其实很好理解。搜索引擎的职责是根据网页真实内容判断质量，如果允许站长通过一个文本文件告诉搜索引擎”哪些内容最重要”，那么这个文件很容易变成当年的keywords标签，最终充满关键词堆砌和作弊内容。

Google本身拥有非常强大的页面理解能力，可以直接解析网页结构和内容，因此没有必要依赖站长提供的摘要文件。

所以，如果希望通过llms.txt提升SEO排名或者增加Google搜索流量，目前并没有官方依据支持。

PageSpeed为什么开始检测llms.txt？

虽然搜索团队没有采用llms.txt，但负责PageSpeed和Lighthouse的Chrome团队关注的是另外一件事情——AI智能体访问网站是否更加高效。

过去，PageSpeed主要检测的是页面加载速度、用户体验和Core Web Vitals指标。如今，又增加了Agent Browsing（智能体浏览体验），主要为了检测AI智能体访问网站时，是否能够快速理解页面结构并完成任务。

因此，llms.txt被纳入体验检测，而不是搜索排名检测。

什么是llms.txt？

LLMs.txt文件是放置在站点根目录中的纯文本文件，主要作用是为大型语言模型(llm)提供一个清晰、优先的url列表，让AI清楚的知道哪些内容是重要的，哪些不需要抓取。

llms.txt与为搜索引擎爬虫构建的robots.txt或sitemap.xml又有些不同，llms.txt是专门为AI工具创建的，采用Markdown格式，让模型可以轻松扫描和了解你的网站。

LLMs.txt文件配置要点：

• 干净的url列表，可选地与链接标题配对
• 专为实时访问而设计，而不是长期索引
• 帮助AI定位复杂页面结构中经常遗漏的内容

为什么LLM需要llms.txt？

因为AI访问网站和搜索引擎爬虫的工作方式完全不同。传统搜索引擎通常会：

• 全站抓取；
• 建立索引；
• 定期重新访问；
• 根据robots.txt和sitemap.xml进行抓取。

抓取完成后，内容会长期存储在索引数据库中。

LLM则完全不同。它通常：

• 在用户提问时实时访问网页；
• 不会长期保存网页内容；
• 上下文窗口有限；
• 更容易忽略结构复杂的页面；
• 对JavaScript页面理解能力有限。

如果一个网站：

• 页面层级很多；
• 导航复杂；
• 内容分散；
• 那么AI很可能只读取首页，忽略教程、产品文档或者帮助中心等重要内容。

而llms.txt就是为了帮助AI快速找到这些核心内容。

详细阅读：

《LLMs.txt介绍及用法全解》

《Rank Math插件LLMs.txt设置教程》

llms.txt、robots.txt、sitemap.xml有什么区别？

PageSpeed新增AI检测到底检查什么？

目前新增的”智能体浏览”主要包含两类内容。

第一类：已经成熟的体验指标

这些项目本身就是传统网页优化的一部分，只不过现在同样适用于AI。

1、语义化HTML和无障碍结构

AI和屏幕阅读器一样，需要依赖：

• 标题结构；
• ARIA属性；
• 语义化标签；
• 表单结构。

如果网页本身符合规范，那么AI识别按钮、输入框和导航都会更加准确。

对于已经做好基础SEO的网站来说，通常无需额外修改。

2、CLS布局稳定性

CLS（Cumulative Layout Shift）属于Core Web Vitals经典指标。

它衡量的是页面加载过程中元素是否发生位置变化。对于用户来说按钮突然移动，会误点广告。对于AI来说，同样如此。

例如：AI已经计算好点击”提交询盘”按钮的位置，结果页面加载过程中广告插入，按钮发生偏移，那么智能体可能点击失败。

因此，保持良好的CLS表现，同样有助于AI完成任务。

3、llms.txt规范检测

这是最近新增的一项检测。需要注意的是，llms.txt不是必需文件。如果网站没有部署，PageSpeed通常会显示：Not Applicable（不适用），不会影响整体评分。

但是如果已经部署，则需要符合规范，例如：

• 一个一级标题；
• 标准Markdown链接格式；
• 内容不要过短；
• 结构清晰。

否则检测可能提示错误。

除了上述三项之外，还有几项与WebMCP相关的新检测。不过Google官方已经明确说明这些功能仍处于开发阶段，目前不会参与评分，未来标准也可能继续调整。

什么是WebMCP？可以把WebMCP理解成给网页上的按钮、表单和功能模块增加AI可识别标签。例如：

传统情况下，AI需要自己判断：

• 哪个输入框填写邮箱？
• 哪个按钮负责提交？

而WebMCP可以直接告诉AI：

• 这是姓名输入框；
• 这是邮箱输入框；
• 这是提交按钮；
• 这是询盘表单。

推荐阅读：

《SaaS平台企业SEO优化指南》

《网站GEO的致胜法则》

《5款谷歌免费SEO工具分享》

《Google AI概述对SEO的影响及优化策略》

(本文由美国主机侦探原创，转载请注明出处“美国主机侦探”和原文地址！)