随着AI搜索的发展和普及,我们应该如何提高WordPress网站在 AI 结果中的可见性?本文介绍通过添加 llms.txt
文件来规范AI模型抓取内容的结构,提升和简化 AI 对网站内容的解析过程,避免处理复杂的 HTML、JavaScript 和广告等元素,从而提高内容的可访问性和理解度。
下图是我的网站在OpenAI搜索结果中的展示,关键词是【WordPress外贸建站技术】。当然这个词在Google搜索结果中的目前排名也是第一位的。
什么是llms.txt?
llms.txt
是由 Jeremy Howard 于 2024 年提出的一个非官方标准,建议网站在根目录下添加一个 Markdown 格式的文件(例如:https://yourdomain.com/llms.txt
),以便为 AI 模型(如 ChatGPT、Claude、Perplexity、Gemini 等)提供结构化的内容摘要和链接。
你可以对照robots.txt来理解它,robots.txt
控制的是搜索引擎如何抓取网站内容,而 llms.txt
则是为了帮助 AI 模型更好地理解和利用网站内容。
llms.txt
和 Robots.txtyou存在一些差异。
特性 | llms.txt | robots.txt |
---|---|---|
目标对象 | 大型语言模型(如 ChatGPT、Claude 等) | 搜索引擎爬虫(如 Googlebot、Bingbot) |
文件格式 | Markdown | 纯文本 |
功能 | 提供结构化的内容摘要,帮助 AI 理解网站内容 | 控制搜索引擎对网站的抓取和索引行为 |
是否强制执行 | 否,属于建议性标准 | 是,搜索引擎通常会遵循其中的规则 |
根据上表我们其实就可以看出来 llms.txt
不是必须要加的,因为即使你不加 llms.txt
,AI大模型也会抓取和推荐你的网站内容,这属于一个可以优化提升的点。
网站添加llms.txt的优势
1、提升 AI 对内容的理解能力
llms.txt
文件以简洁的 Markdown 格式提供网站的核心内容摘要,去除导航、广告和脚本等干扰元素,使 AI 更容易准确理解网站的主要信息。
2、优化 AI 索引和引用效率
通过明确指出哪些页面对 AI 有价值,llms.txt
有助于 AI 更高效地索引和引用网站内容,提高WordPress网站在 AI 结果中的可见性
这个其实和Sitemap又有点像了,就是在llms.txt
文件中将所有需要AI大模型读取的内容的路径以及对应的摘要都列出来,这样方便大模型读取和识别。
但是llms.txt
文件其实是被包含在Sitemap列表中的。
3、增强网站在 AI 搜索平台的表现
llms.txt
可以帮助网站在这些平台上获得更好的展示机会,扩大内容的受众范围。
4、支持 AI 助手和聊天机器人的集成
通过提供清晰的内容结构,llms.txt
有助于 AI 助手和聊天机器人更准确地回答用户问题,提升用户体验。
如何给WordPress网站添加llms.txt?
如果你是WordPress网站,添加llms.txt文件非常简单,使用Website LLMs.txt即可实现自动添加。
Website LLMs.txt功能特点:
- 自动生成 LLMS.txt
- 自定义帖子类型选择和排序
- SEO 插件集成(Yoast SEO、RankMath)
- 网站地图集成
- 缓存管理
- 可配置更新频率
1、安装Website LLMs.txt插件
这是一款免费插件,你只需要在网站后台的插件安装库中搜索并安装激活即可。
2、llms.txt设置
通过后台的llms.txt菜单进入设置页面。
勾选你需要被AI识别的内容类型(Website LLMs.txt支持自定义内容类型),这一步和Rankmath SEO设置的Sitemap设置非常像。
然后设置内容选项,每个内容类型数量的最大值你可以调高一点,比如你有1000条博客,那么就调这个数值大于1000;最大文字数量,这个根据你每篇博客最常的内容长度,如果你有长文,那么这个数值就应该调高一点。
下面的勾选默认全部勾选即可。
更新频率设置为即时更新。
设置完整之后先保存设置,然后清理缓存,清理缓存之后需要重新登录网站后台。
3、llms.txt文件验证
清理缓存重新登录后台之后,我们可以检查llms.txt文件是否生成,在你网站域名后添加llms.txt路径即可。如果可以访问到一下文件,就代表llms.txt文件已经生成。
同时你还可以在网站后台的 llms.txt菜单页面中到文件的状态信息:
Website LLMs.txt插件和Yoast SEO、RankMath兼容,如果你使用了其中的SEO插件,那么SEO插件会自动将 llms.txt纳入到Sitemap文件列表中。
总结
llms.txt
不是必须的,但它是一个有助于 AI 模型更好理解您网站内容的工具。- 即使没有
llms.txt
,AI 模型仍然可以访问和索引您的网站。 - 添加
llms.txt
可以提供更清晰的内容结构,可能提升在 AI 生成搜索结果中的表现。