随着AI搜索的发展和普及,我们应该如何提高WordPress网站在 AI 结果中的可见性?本文介绍通过添加 llms.txt文件来规范AI模型抓取内容的结构,提升和简化 AI 对网站内容的解析过程,避免处理复杂的 HTML、JavaScript 和广告等元素,从而提高内容的可访问性和理解度。

下图是我的网站在OpenAI搜索结果中的展示,关键词是【WordPress外贸建站技术】。当然这个词在Google搜索结果中的目前排名也是第一位的。

什么是llms.txt?

llms.txt 是由 Jeremy Howard 于 2024 年提出的一个非官方标准,建议网站在根目录下添加一个 Markdown 格式的文件(例如:https://yourdomain.com/llms.txt),以便为 AI 模型(如 ChatGPT、Claude、Perplexity、Gemini 等)提供结构化的内容摘要和链接。

你可以对照robots.txt来理解它,robots.txt 控制的是搜索引擎如何抓取网站内容,而 llms.txt 则是为了帮助 AI 模型更好地理解和利用网站内容。

llms.txt 和 Robots.txtyou存在一些差异。

特性llms.txtrobots.txt
目标对象大型语言模型(如 ChatGPT、Claude 等)搜索引擎爬虫(如 Googlebot、Bingbot)
文件格式Markdown纯文本
功能提供结构化的内容摘要,帮助 AI 理解网站内容控制搜索引擎对网站的抓取和索引行为
是否强制执行否,属于建议性标准是,搜索引擎通常会遵循其中的规则

根据上表我们其实就可以看出来 llms.txt 不是必须要加的,因为即使你不加 llms.txt ,AI大模型也会抓取和推荐你的网站内容,这属于一个可以优化提升的点。

网站添加llms.txt的优势

1、提升 AI 对内容的理解能力

llms.txt 文件以简洁的 Markdown 格式提供网站的核心内容摘要,去除导航、广告和脚本等干扰元素,使 AI 更容易准确理解网站的主要信息。

提高WordPress网站在 AI 结果中的可见性

2、优化 AI 索引和引用效率

通过明确指出哪些页面对 AI 有价值,llms.txt 有助于 AI 更高效地索引和引用网站内容,提高WordPress网站在 AI 结果中的可见性

这个其实和Sitemap又有点像了,就是在llms.txt 文件中将所有需要AI大模型读取的内容的路径以及对应的摘要都列出来,这样方便大模型读取和识别。

但是llms.txt 文件其实是被包含在Sitemap列表中的。

3、增强网站在 AI 搜索平台的表现

llms.txt 可以帮助网站在这些平台上获得更好的展示机会,扩大内容的受众范围。

4、支持 AI 助手和聊天机器人的集成

通过提供清晰的内容结构,llms.txt 有助于 AI 助手和聊天机器人更准确地回答用户问题,提升用户体验。

如何给WordPress网站添加llms.txt?

方法1:使用RankMath SEO的LLMS Txt功能

如果你使用RankMath SEO插件来进行网站的SEO管理,那么可以直接使用RankMath 提供的LLMS Txt来配置LLMS .txt文件。

1、开启RankMath SEO的LLMS Txt模块

在RankMath SEO的仪表盘模块中开启LLMS Txt模块,然后点击Setting按钮进入设置。如果你在模块列表中找不到它,请更新你的RankMath SEO插件到最新版本。

RankMath SEO LLMS Txt - 提高WordPress网站在 AI 结果中的可见性 - NUTSWP

2、设置 llms.txt文件包含的内容

编辑LLMS Txt 设置 - 提高WordPress网站在 AI 结果中的可见性 - NUTSWP

Select Post Types(选择Post类型):勾选你需要被AI爬取的内容类型,比如文章,产品,页面等等,注意一些模版不要包含进去,比如浮动元素等等。

Select Taxonomies(选择分类法):勾选那你需要被AI爬取的分类法,比如产品分类,产品标签,文章分类,文章标签等等。

Posts/Terms Limit(博客或者分类法的限制):这里设置每种帖子或者分类法包含的最大数,如果你的内容比较多,尽可能设置的多一点,比如你有1000条博客,你可以设置这个值大于1000。

Additional Content(更多内容):手动添加您想要包含在 llms.txt 文件中的任何额外文本或链接。使用此字段插入您想要添加到文件的任何自定义内容。您可以将每个内容添加到不同的行中。

设置完整之后点击保存按钮,保存设置即可。

3、查看 llms.txt文件

保存之后,你可以通过顶部的提示信息,查看 llms.txt文件。

llms.txt文件位置 - 提高WordPress网站在 AI 结果中的可见性 - NUTSWP

打开之后你可以看到 llms.txt文件内容,如下:

查看 llms.txt文件 - 提高WordPress网站在 AI 结果中的可见性 - NUTSWP

方法2:使用Website LLMs.txt插件(如果你的SEO插件不支持llms.txt可以借助插件)

如果你是WordPress网站,添加llms.txt文件非常简单,使用Website LLMs.txt即可实现自动添加。

Website LLMs.txt功能特点:

  • 自动生成 LLMS.txt
  • 自定义帖子类型选择和排序
  • SEO 插件集成(Yoast SEO、RankMath)
  • 网站地图集成
  • 缓存管理
  • 可配置更新频率

1、安装Website LLMs.txt插件

这是一款免费插件,你只需要在网站后台的插件安装库中搜索并安装激活即可。

2、llms.txt设置

通过后台的llms.txt菜单进入设置页面。

勾选你需要被AI识别的内容类型(Website LLMs.txt支持自定义内容类型),这一步和Rankmath SEO设置的Sitemap设置非常像。

然后设置内容选项,每个内容类型数量的最大值你可以调高一点,比如你有1000条博客,那么就调这个数值大于1000;最大文字数量,这个根据你每篇博客最常的内容长度,如果你有长文,那么这个数值就应该调高一点。

下面的勾选默认全部勾选即可。

更新频率设置为即时更新。

设置完整之后先保存设置,然后清理缓存,清理缓存之后需要重新登录网站后台。

3、llms.txt文件验证

清理缓存重新登录后台之后,我们可以检查llms.txt文件是否生成,在你网站域名后添加llms.txt路径即可。如果可以访问到一下文件,就代表llms.txt文件已经生成。

image 12 - 提高WordPress网站在 AI 结果中的可见性 - NUTSWP

同时你还可以在网站后台的 llms.txt菜单页面中到文件的状态信息:

Website LLMs.txt插件和Yoast SEO、RankMath兼容,如果你使用了其中的SEO插件,那么SEO插件会自动将 llms.txt纳入到Sitemap文件列表中。

如何查看网站AI可见性

1)SEMRush查看AI可见性

SEMRush查看AI可见性 - 提高WordPress网站在 AI 结果中的可见性 - NUTSWP

2)Ahrefs查看AI可见性

Ahrefs查看AI可见性 - 提高WordPress网站在 AI 结果中的可见性 - NUTSWP

总结

  • llms.txt 不是必须的,但它是一个有助于 AI 模型更好理解您网站内容的工具。
  • 即使没有 llms.txt,AI 模型仍然可以访问和索引您的网站。
  • 添加 llms.txt 可以提供更清晰的内容结构,可能提升在 AI 生成搜索结果中的表现。