什么是 Robots.txt 档案？
robots.txt 是一个很小但很重要的档案，位于商店的根目录中。可以让蜘蛛（机器人）了解哪些页面或目录可以被爬行（爬行），哪些页面不能被爬行（爬行）。 robots.txt 档案可以用来完全阻止搜索引擎爬行器，或者仅仅限制它们对商店某些区域的访问。下面 WooCommerce 店群美国虚拟主机商主要就 robots 档案里面的一些基本内容做一个介绍。
User-agent：用于指定特定蜘蛛的抓取。适用于所有蜘蛛的抓取可以使用 “*” 。
不允许：用于告知机器人哪些档案和资料夹不能爬行。
允许：告诉机器人可以爬行不允许爬行的资料夹中的档案。
商店地图：用于指定商店地图的位置。
在 robots.txt 档案中还可以使用的其他规则，比如 “Host：” 和 “Crawl-delay：”，但这些规则并不常见，只在特定的情况下使用。
Robots.txt 档案的作用是什么？
每一个被爬行的商店都有一个爬行预算。爬行预算主要是搜索引擎在任何给定时间都可以爬行的有限页面数量，谁都不想把爬行预算浪费在低质量，垃圾的或不重要的页面上。这就是 robots.txt 档案的作用，可以使用 robots.txt 档案指定搜索引擎应该忽略哪些页面、档案和目录（以及其他搜索引擎），允许搜索引擎机器人把重点放在重要高质量的内容上。
下面是一些可以考虑在 WooCommerce 商店上遮蔽的重要事情：
分面导航和会话识别符号
现场重复的内容
软错误页面
被黑的页面
无限的空间和代理
低质量和垃圾内容
这个列表直接来自谷歌商店管理员中心 WooCommerce 商店，在上面列出的页面上浪费爬行预算将会减少在真正有价值的页面上的爬行活动，这可能导致在搜索商店上重要内容时出现明显的延迟。
不应该用 Robots.txt 做什么
robots.txt 不应该用来作为一种控制搜索引擎索引页面的方式，如果正在试图阻止某些页面被包含在搜索引擎结果中，应该使用 noindex 标记或指令，或加密保护页面。这样做的原因是 robots.txt 档案实际上并没有说明搜索引擎不要索引内容，它只是告诉他们不要爬行它。虽然搜索引擎不会从自己的商店中爬行不允许的区域，但它们确实指出，如果外部连结指向已经排除的页面，它仍然可能被爬行和索引。在 WooCommerce 中需要 Robots.txt 档案吗？我想说的是 WordPress 可以不需要 robots.txt 档案，但它绝对是被推荐的。
如何建立 WordPress Robots.txt 档案
现在已经了解了 robots.txt 是什么以及它的用途，接下来我们将研究如何建立一个 robots.txt 。有三种不同的方法，下面我将逐一介绍。
1 、使用插件外挂建立 Robots.txt
像 Yoast 这样的搜索引擎优化插件外挂具有在 WordPress 仪表盘中建立和编辑 robots.txt 档案的选项，这可能是最简单的选项。
2 、使用 FTP 上传 Robots.txt
另一个选项是使用记事本（或类似的东西）在计算机上建立.txt 档案，并将其命名为 robots.txt 。然后，您可以使用 FTP（档案传输协议）（如 FileZilla）将档案上传到商店的根目录。
3 、在 cPanel 中建立 Robots.txt
如果以上两个选项都不合适，您也可以登入到 cPanel 并手动建立档案。务必确保在根目录中建立档案。
如何为 WordPress 优化 Robots.txt
WordPress robots.txt 中应该包含什么呢？您可能会觉得很惊讶，但又不是是很多。下面，我将解释原因。谷歌（和其他搜索引擎）正在不断地发展和改进，所以曾经的最佳实践不一定会再有效。现在谷歌不仅可以读取网的站 HTML，还可以读取您的 CSS 和 JS 档案。由于这个原因，他们不喜欢在您遮蔽任何需要渲染的档案或资料夹时使用它。在过去，阻止像/wp-include /和/wp-content/的资料夹是可以的。现在情况已经不同了。通过登入到谷歌 Webmaster 账户并测试实时 URL 是测试它的简单方法。如果有任何资源被谷歌机器人阻止，他们将会在页面资源选项卡中不友好。
此外在修改 robots.txt 商店时要小心。虽然这些改变可以提高搜索流量，但如果犯错，它们也会弊大于利。在建立并定制 robots.txt 之后，登入到谷歌 Webmaster 帐户，并使用这个机器人测试工具，该工具的操作方式与 Googlebot 类似，它将检查 robots.txt 档案，并验证 URL 是否已被适当遮蔽。站长需要验证一切都是正确的，并且没有任何警告或错误。
robots.txt 是商店搜索引擎优化的重要部分。如果使用得当，它可以加快爬行的速度，并使更新的内容更快地建立索引。但是滥用这个档案会对搜索引擎排名造成很大的损害，所以在进行任何更改时要小心。
希望本文能让您更好地理解 robots.txt 档案，以及如何针对特定的 WordPress 需求对其进行优化。有其他问题可以访问 WooCommerce 店群美国虚拟主机官网了解更多内容。推荐阅读：站长应该怎样著手优化商店。
