最近，我们的一位读者询问我们如何优化 robots.txt 文件以提高 SEO。
robots.txt 文件告诉搜索引擎如何抓取您的网站，这使其成为一个非常强大的 SEO 工具。
在本文中，我们将向您展示一些有关如何为 SEO 创建完美 robots.txt 文件的提示。
什么是 Robots.txt 文件？
Robots.txt 是网站所有者可以创建的一个文本文件，用于告诉搜索引擎机器人如何抓取其网站上的页面并为其建立索引。
它通常存储在网站的根目录（也称为主文件夹）中。 robots.txt 文件的基本格式如下所示：
用户代理：[用户代理名称]
Disallow: [不被抓取的URL字符串]
用户代理：[用户代理名称]
允许：[要抓取的URL字符串]
站点地图：[XML 站点地图的 URL]
您可以使用多行指令来允许或禁止特定 URL 并添加多个站点aps。如果您不禁止某个 URL，那么搜索引擎机器人就会假定它们可以抓取该 URL。
这是 robots.txt 示例文件的样子：
用户代理： *
允许：/wp-content/uploads/
禁止：/wp-content/plugins/
禁止：/wp-admin/
站点地图：https://example.com/sitemap_index.xml
在上面的 robots.txt 示例中，我们允许搜索引擎抓取 WordPress 上传文件夹中的文件并为其建立索引。
此后，我们禁止搜索机器人对插件和 WordPress 管理文件夹进行爬网和索引。
最后，我们提供了 XML 站点地图的 URL。
您的 WordPress 网站需要 Robots.txt 文件吗？
如果您没有 robots.txt 文件，搜索引擎仍会抓取您的网站并为其编制索引。但是，您将无法告诉他们不应抓取哪些页面或文件夹。
当您第一次创建博客并且不这样做时，这不会产生太大影响内容很多。
但是，随着您的网站不断发展并添加更多内容，您可能希望更好地控制网站的抓取和索引方式。
原因如下。
搜索机器人对每个网站都有抓取配额。
这意味着它们在抓取会话期间抓取一定数量的页面。如果他们在完成对您网站上所有页面的抓取之前就用完了抓取预算，那么他们将在下一个会话中返回并继续抓取。
这会降低您网站的索引速度。
您可以通过禁止搜索机器人尝试抓取不必要的页面（例如 WordPress 管理页面、插件文件和主题文件夹）来解决此问题。
通过禁止不必要的页面，您可以节省抓取配额。这有助于搜索引擎抓取您网站上的更多页面并尽快将其编入索引。
使用 robots.txt 文件的另一个好理由是当您想要阻止搜索引擎对某个内容进行索引时您网站上的帖子或页面。
这不是向公众隐藏内容的最安全方法，但它将帮助您防止内容出现在搜索结果中。
理想的 Robots.txt 文件是什么样的？
许多流行的博客都使用非常简单的 robots.txt 文件。它们的内容可能会根据特定网站的需求而有所不同：
用户代理： *
不允许：
站点地图：http://www.example.com/post-sitemap.xml
站点地图：http://www.example.com/page-sitemap.xml
此 robots.txt 文件允许所有机器人对所有内容建立索引，并为它们提供指向网站 XML 站点地图的链接。
对于 WordPress 网站，我们建议在 robots.txt 文件中遵循以下规则：
用户代理： *
允许：/wp-content/uploads/
禁止：/wp-admin/
禁止：/readme.html
禁止：/参考/
站点地图：http://www.example.com/post-sitemap.xml
站点地图：http://www.example.com/page-sitemap.xml
这告诉搜索机器人索引所有 WordPres 图像和文件。它禁止搜索机器人对 WordPress 管理区域、自述文件和隐藏的附属链接建立索引。
通过将站点地图添加到 robots.txt 文件，您可以让 Google 机器人轻松找到您网站上的所有网页。
现在您已经知道理想的 robots.txt 文件是什么样子了，让我们看看如何在 WordPress 中创建 robots.txt 文件。
如何在 WordPress 中创建 Robots.txt 文件
在 WordPress 中创建 robots.txt 文件有两种方法。您可以选择最适合您的方法。
方法 1：使用多合一 SEO 编辑 Robots.txt 文件
All in One SEO，也称为 AIOSEO，是市场上最好的 WordPress SEO 插件，已被超过 300 万个网站使用。
它易于使用，并配有 robots.txt 文件生成器。
如果您尚未安装 AIOSEO 插件，您可以查看我们的分步指南，了解如何安装 AIOSEO 插件WordPress 插件。
注意：AIOSEO 的免费版本也可用并具有此功能。
安装并激活该插件后，您可以使用它直接从 WordPress 管理区域创建和编辑 robots.txt 文件。
只需转至多合一 SEO » 编辑 robots.txt 文件的工具即可。
首先，您需要将“启用自定义 Robots.txt”切换按钮切换为蓝色，以打开编辑选项。
启用此开关后，您可以在 WordPress 中创建自定义 robots.txt 文件。
多合一 SEO 将在屏幕底部的“Robots.txt 预览”部分显示您现有的 robots.txt 文件。
此版本将显示 WordPress 添加的默认规则。
这些默认规则告诉搜索引擎不要抓取您的核心 WordPress 文件，允许机器人对所有内容建立索引，并向它们提供指向您网站的 XML 站点地图的链接。
现在，您可以投放广告制定您自己的自定义规则来改进您的 robots.txt 以进行 SEO。
要添加规则，请在“用户代理”字段中输入用户代理。使用 * 会将规则应用于所有用户代理。
然后，选择“允许”还是“禁止”搜索引擎抓取。
接下来，在“目录路径”字段中输入文件名或目录路径。
该规则将自动应用于您的 robots.txt。要添加其他规则，只需单击“添加规则”按钮即可。
我们建议添加规则，直到您创建我们上面分享的理想 robots.txt 格式。
您的自定义规则将如下所示。
完成后，请不要忘记单击“保存更改”按钮来存储您的更改。
方法2：使用WPCode编辑Robots.txt文件
WPCode 是一个功能强大的代码片段插件，可让您轻松安全地将自定义代码添加到您的网站。
它还包括一个方便的功能，可让您快速编辑 robots.txt 文件。
注意：还有一个 WPCode 免费插件，但它不包含文件编辑器功能。
您需要做的第一件事是安装 WPCode 插件。有关分步说明，请参阅我们有关如何安装 WordPress 插件的初学者指南。
激活后，您需要导航到 WPCode » 文件编辑器页面。到达那里后，只需单击“robots.txt”选项卡即可编辑文件。
现在，您可以粘贴或键入 robots.txt 文件的内容。
完成后，请确保单击页面底部的“保存更改”按钮来存储设置。
方法3：使用FTP手动编辑Robots.txt文件
对于此方法，您需要使用 FTP 客户端来编辑 robots.txt 文件。或者，您可以使用 WordPress 托管提供的文件管理器。
只需连接o 使用 FTP 客户端保存您的 WordPress 网站文件。
进入后，您将能够在网站的根文件夹中看到 robots.txt 文件。
如果您没有看到，那么您可能没有 robots.txt 文件。
在这种情况下，您可以继续创建一个。
Robots.txt 是一个纯文本文件，这意味着您可以将其下载到计算机上并使用记事本或 TextEdit 等任何纯文本编辑器进行编辑。
保存更改后，您可以将 robots.txt 文件上传回网站的根文件夹。
如何测试您的 Robots.txt 文件
创建 robots.txt 文件后，最好使用 robots.txt 测试工具对其进行测试。
市面上有很多 robots.txt 测试工具，但我们建议使用 Google Search Console 中的工具。
首先，您需要将您的网站与 Google Search Console 链接。如果你尚未执行此操作，请参阅我们有关如何将 WordPress 网站添加到 Google Search Console 的指南。
然后，您可以使用 Google Search Console 机器人测试工具。
只需从下拉列表中选择您的属性即可。
该工具将自动获取您网站的 robots.txt 文件，并在发现任何错误和警告时突出显示错误和警告。
最终想法
优化 robots.txt 文件的目标是防止搜索引擎抓取非公开的页面。例如，wp-plugins 文件夹中的页面或 WordPress 管理文件夹中的页面。
SEO 专家的一个常见误区是，阻止 WordPress 类别、标签和存档页面将提高抓取速度，并导致更快的索引编制和更高的排名。
这不是真的。这也违反了 Google 的网站站长指南。
我们建议您按照上述robots.txt格式为您的网站创建 robots.txt 文件。
我们希望本文能帮助您了解如何优化 WordPress robots.txt 文件以实现 SEO。您可能还想查看我们的终极 WordPress SEO 指南以及我们的专家精选的最佳 WordPress SEO 工具来发展您的网站。
如果您喜欢这篇文章，请订阅我们的 WordPress 视频教程 YouTube 频道。您还可以在 Twitter 和 Facebook 上找到我们。
网