什么是Robots.txt？
Robots.txt文件规定了搜索引擎爬虫可以或者不可以爬取的内容，在WordPress中通常像RanKMath SEO这样的SEO插件都是会自动生成Robots.txt文件的，所以在默认情况下，不需要你手动修改。
如果你修改了反而很可能导致网站无法访问，所以对于Robots.txt编辑你应该谨慎，编辑之前做好网站备份。
如何为你的WordPress网站生成Robots.txt文件？
使用SEO工具帮你自动生成即可，不需要手动编辑。
下图是RankMath SEO生成的Robots.txt文件内容。
User-Agent（用户代理）：指定哪些用户代理可以访问，*号代表所有用户代理都可以访问。
Disallow：代表要屏蔽的目录和文件，/wp-admin/ 代表屏蔽网站所有后台URL。
Allow：代表允许访问的目录和文件，admin-ajax.php文件包含在WordPress上路由Ajax请求的所有代码。它的主要目的是使用Ajax在客户端和服务器之间建立连接。WordPress使用它来刷新页面内容而无需重新加载，从而使其动态且与用户交互。
Sitemap：代表网站的站点地图，是用来告诉搜索引擎你的网站目录结构的，方便搜索引擎爬取和收录页面，RanKMath SEO可以帮你自动生成sitemap.xml文件。
