如何在SEO中使用robots.txt文件？- SEO.London

你可能有很多关于你的网站页面上的信息隐私的问题。那么，不要再看了，因为在今天这篇文章中，我们将学习一切都将使你具备知识保护你的信息，甚至操纵你的信息什么人们可以或不能在你的网站上看到。

什么是SEO中的robots.txt？

这可能会让你感到惊讶，但是，你有能力控制谁来索引和抓取你的网站，而且你可以把这个控制到个别页面。为了能够探索这些操作，你将需要robots.txt文件的帮助。这是一个包含一组指令的文件，用于搜索引擎爬行器。它与机器人携手合作，通知他们要访问的网页。爬行和容易忽略的内容。您可能已经意识到这一工具有多么强大，它能让您以希望人们看到的方式向世界展示您的网站，并给人们留下良好印象。如果使用得当，它们可以增加爬虫的频率，并对您的搜索引擎优化努力.

robots.txt在SEO中的作用是什么？

txt文件中包含的指令对你的SEO有实质性的影响，因为它赋予你控制搜索机器人的权力。以下是Robots.txt发挥的基本功能。

保护你的私人数据。你可以使用robots.txt来重定向搜索机器人远离不希望被访问的私人文件夹。这将给查找和索引带来挑战。
对你的资源进行控制：对于包含巨大数量的网站内容譬如说电子商务网站, 其中可以有成千上万的页面；为他们最有价值的访问者保护和保留一些资源是很重要的。每次机器人在网站上爬行时，带宽，包括其他重要资源都会被吸走。对于这种有大块数据的网站来说，这意味着甚至在高价值访问者能够访问它们之前，资源就会被迅速耗尽。这就是robots.txt的用武之地，因为它们可以用来使一些材料难以被发现，从而保护它们。
它们也可以用来指南爬行者到网站地图，这样他们就可以更容易地清楚地看到你的网站。
仅仅通过在robots.txt文件中设置规则，你就可以阻止爬行者受到限制。指数化重复的内容或重复的页面。

自然，每个网站所有者都希望搜索引擎能够访问你网站上的正确信息和最关键的页面。好好利用这个工具，可以让你操纵搜索页面前面的内容。建议不要完全不允许搜索引擎访问某些页面，因为这也可能带来不利后果。

如何在SEO中使用robots.txt？

以下是一些最佳做法，以确保你在SEO中很好地利用robots.txt。

始终确保你希望你的访问者在你的网站上抓取的信息不被封锁。
当robots.txt屏蔽了页面上的一些链接时，这些链接将不再被跟踪，除非它们是从搜索引擎可以访问的其他页面链接过来的。当robots.txt被用作某个页面的屏蔽机制时，链接统一不能在这种被屏蔽的页面上传递到链接目的地。
使用robots.txt来阻止个人数据出现在 SERP 这是因为其他一些页面可能有直接链接到包含这些个人信息的页面，因此可以绕过 robots.txt 说明，从而仍有可能被索引。
有的搜索引擎有一个以上的用户代理，如谷歌，它有谷歌机器人和谷歌图像，分别用于有机和图像搜索。这种来自同一搜索引擎的用户代理通常遵循同一套规则。因此，没有必要对搜索引擎的多个爬虫进行特定的处理，但这种能力可以让你微调一下爬行的内容在你的网站上。

搜索引擎总是缓存 robots.txt 的内容，并在 24 小时内至少更新一次。如果你希望切换文件并有更高的更新频率，你可能需要提交你的robots.txt网址给谷歌。

robots.txt有法律约束力吗？

官方说，没有法律确切地说，Robots.txt必须被遵守。也不存在任何使网站所有者对用户有约束力的合同。然而，在法庭上，在法律案件中，拥有robots.txt可以起到重要作用。

robots.txt文件的限制是什么？

robots.txt的指令可能没有得到所有搜索引擎的支持。尽管你在robots.txt文件中可能有指令，但你并不能控制爬虫的行为。一些著名的网络爬虫，如 Googlebot在其他国家，尊重robots.txt文件的指示，但其他人可能不尊重它们。为了保护一些重要信息，你可能想使用其他方法，如密码。

每个爬虫都可能有其对语法的解释。在向不同的爬虫寻址时，理解正确的语法是至关重要的，因为有些爬虫可能不理解某些指令。

如果robots.txt文件的指示已经阻止了一个页面或特定的内容，但它仍然从另一个页面被链接，它仍然有可能被索引。

如前所述，谷歌可能不会查看robots.txt文件所屏蔽的文件；这些被屏蔽的页面仍有可能在其他不受限制的页面上有链接。在这种情况下，URL 地址在其他公开可用的信息中，如锚文本在这些网页的链接中发现的信息，仍然可以在谷歌搜索结果中找到。避免这种情况发生的正确方法是使用其他方法来保护你的信息，如密码，或只是完全离开该页面。