专注WordPress外贸建站实用教程,提供基于WordPress的外贸建站服务!
文章分类
文章标签

什么是Robots.txt文件?

文章导航

什么是Robots.txt?

Robots.txt文件规定了搜索引擎爬虫可以或者不可以爬取的内容,在WordPress中通常像RanKMath SEO这样的SEO插件都是会自动生成Robots.txt文件的,所以在默认情况下,不需要你手动修改。

如果你修改了反而很可能导致网站无法访问,所以对于Robots.txt编辑你应该谨慎,编辑之前做好网站备份。

如何为你的WordPress网站生成Robots.txt文件?

使用SEO工具帮你自动生成即可,不需要手动编辑。

下图是RankMath SEO生成的Robots.txt文件内容。

RanKMath SEO插件自动生成的Robots.txt文件内容。

User-Agent(用户代理):指定哪些用户代理可以访问,*号代表所有用户代理都可以访问。

Disallow:代表要屏蔽的目录和文件,/wp-admin/ 代表屏蔽网站所有后台URL。

Allow:代表允许访问的目录和文件,admin-ajax.php文件包含在WordPress上路由Ajax请求的所有代码。它的主要目的是使用Ajax在客户端和服务器之间建立连接。WordPress使用它来刷新页面内容而无需重新加载,从而使其动态且与用户交互。

Sitemap:代表网站的站点地图,是用来告诉搜索引擎你的网站目录结构的,方便搜索引擎爬取和收录页面,RanKMath SEO可以帮你自动生成sitemap.xml文件。

Google对Robots文件的介绍

想快速搭建一个完全属于自己的外贸独立站?
本站提供专业的外贸建站服务,如果你不想自己花时间精力搭建网站,可以将你的需求告诉我,我来帮助你搭建一个专业外贸独立站!
微信联系我
Whatsapp联系我
文章分类
文章标签
专注WordPress外贸建站实用教程,提供基于WordPress的外贸建站服务!
外贸建站交流群
广告勿扰
企业微信
文章导航
建站咨询请联系企业微信
感谢你的信任!
咨询和购买请通过微信和我联系!