对于一个不知情的观察者来说，一个在你的网站周围徘徊的机器人可能看起来像科幻电影中的东西。信不信由你，它远非虚构，而是比你想象的更接近现实!对于任何在拥有和维护网站的地形中航行的人来说，了解机器人如何与我们的在线空间互动是至关重要的。同样重要的是，要有能力规范这种互动。这一需求向我们介绍了一个方便的工具： 机器人.txt。在这个全面的 指南，我们将解码 什么 "如何阻止机器人txt "意味着什么，以及为什么它在今天的数字时代很重要。
什么是Robots.txt文件？
robots.txt文件本质上是你网站的守门员。它允许你控制 其中 你网站的部分内容可供机器人探索，如谷歌的 搜索 哪些是引擎蜘蛛，哪些是应该禁止的。作为机器人排除标准（网站使用的非官方标准）的一部分，它指示网络机器人在访问你的网站时允许的行动。
Lukasz Zelezny 是一位拥有 20 多年经验的搜索引擎优化顾问，他将帮助您提升在线形象。
这个不起眼的文本文件充分说明了你的页面可访问性偏好。你是否有特定的目录或页面，希望远离机器人的窥视？robots.txt文件就能满足你的要求！它的内容直截了当地规定了给网络爬虫的特定指令，有利于更有效地管理网站的访问。这种足智多谋的做法使得确保正确呈现 内容 在保护敏感区域不被意外暴露的同时，也使搜索更加容易。
归根结底，学习如何封锁我们的网络空间的一部分。 领域 准确地赋予我们作为网站管理员的权力，在我们平台的宝贵领域内更好地导航机器人的存在和影响--因此我们今天的重点。
技术性的Robots.txt语法
robots.txt文件的语法本质上是用于创建其指令的语言和语法结构。了解如何正确利用这种语法，有助于学习如何使用robots txt阻止机器人，这一点至关重要。
- 用户代理： 用户代理指令标志着你想与之沟通的机器人类型，如Google的Googlebot或BingBot。 宾.以 "User-agent "开始你的指令集：*"意味着所有的网络爬虫都应该听从这些指令。
- 不允许： 这个指令发出了一个直接的信息--避免紧随其后描述的路径。例如，如果你写 "禁止：/images/"，你就是在指示任何阅读它的机器人不要 爬行 你的网站的 图像 目录。
- 允许： 与disallow相反，在 "不允许 "的目录中，allow语句为某些子目录或文件授予访问权限。
模式匹配
robots.txt文件语法中一个复杂而有效的元素是模式匹配。除了直接指定路径外，模式匹配还可以让你通过简单的符号在robots.txt文件中阐明如何阻止机器人的复杂指令。
- 在学习模式匹配时，主要关注两个基本字符--'*'（星号）和'$'（美元符号）。星号作为通配符，而美元符号象征着URL的结束。
- 在禁止语句中使用星号，表示那里存在的任何字符串序列。例如，"禁止：/example "将禁止网络爬虫访问您网站上任何URL为 "example "的页面。
- 相反，在你的不同术语的末尾加上'$'，指定只有 URLs 这样的结局是被禁止的 爬行 被机器人攻击。一个写着 "禁止访问：/*example$"，只限制访问那些URL正好以 "example "结尾的网页。
但请记住，并不是所有的蜘蛛都能理解或遵循这些模式--最明显的是许多面向垃圾邮件的蜘蛛--因此，在构建指令和辨别如何有效地使用robots txt文件阻止机器人的有效方法时要考虑这一点。""
浏览robots.txt文件的位置可能看起来令人生畏，但请放心，这是个相对简单的过程。这个小而重要的文件属于一个精确的位置--你网站的根目录。
要记住的关键一点是，这个简单的文本文件需要很容易被爬虫找到。根 "或最顶层的目录通常是搜索引擎机器人首先进入的地方。 着陆 在你的 领域.因此，将robots.txt文件放在这里，可以立即明确指示你的网站哪些部分应该被访问。
与拥有 20 多年经验的搜索引擎优化顾问 Lukasz Zelezny 一起在线获取更多客户--现在就预约会面。
现在，对于那些不太熟悉网络用语的人来说，你可能想知道我们提到 "根 "目录时到底是什么意思。从本质上讲，你的网站的根目录就像一个树干，所有其他的目录都是从这个树干上发出来的--它构成了你的在线存在的骨干。例如，如果你的网站网址是www.example.com，那么根目录就是/（.com后面的斜杠）。因此，www.example.com/robots.txt 指定了它在你的根目录中的完美位置。
相反，将其置于另一个 子目录 像/blog/robots.txt将不会有预期的效果，因为机器人在获得指示之前不会费力地搜索到你的网站那么远。
向搜索引擎优化顾问询问什么
最重要的是，不正确的定位会导致抓取和索引效率低下--这是搜索引擎优化成功的两个基础因素--因为搜索引擎在到达 "您家门口 "时，不知道哪里允许或禁止它们快速探索。
因此，在研究如何有效地使用robots txt文件阻止机器人时，请确保你已经掌握了位置。在这个技术性的SEO基石设置中，位置确实起着不可或缺的作用。
在了解robots.txt文件的重要性和功能时，仍然有一个相关的问题：为什么需要robots.txt文件？
首先，拥有robots.txt文件可以指导网络爬虫应该如何与你的网站互动。当搜索引擎接近你的网站进行索引时，你的robots.txt中的这些指示就会起作用。它们指导谷歌的Googlebot或必应的Bingbot等搜索机器人在你的域名中的导航路径。
其次，robots.txt 文件对于管理网站敏感或开发中的私人部分的访问至关重要。您可以特别指示机器人不要索引这些内容。这样可以确保不需要的区域不被索引，也不会通过搜索引擎结果页面（SERP）被公众看到。
此外，网络上有无数的爬行机器人，有好的也有坏的。通过在robots.txt文件中的特定 "用户代理 "命令，对谁可以在您的网站上爬行什么进行定制，您可以保持较高的保护标准，防止潜在的威胁以无辜的爬行活动为幌子访问。
最后，如果没有 Robots txt 文件提供的限制，一些机器人可能会向服务器发出过量请求，导致用户体验降低或受到 DDoS（分布式拒绝服务）攻击。因此，它是确保最佳服务器性能的重要工具。
当你在本文后面开始熟悉构建自己的Robots txt文件时，请记住这个关键概念：体现了对爬虫与你的网站互动的控制，决定了为什么拥有一个特定的Robots txt文件对于保护和优化任何域名的在线存在至关重要。
检查你是否有robots.txt文件
现在让我们继续讨论如何确定你的网站是否已经有一个 "robots.txt "文件。一般来说，它位于你网站的根目录中。
为了检查它的存在，我建议采取以下简单步骤：
如果你的网站上存在 "robots.txt "文件，你的屏幕应该显示这个不起眼但有影响力的文件的内容。相反，类似于 "未找到404页 "或 "未找到文件 "的错误信息，将标志着目前没有Robots.txt文件。
请记住，正确地实施 "如何阻止bots robots txt 战略 对搜索引擎优化 (搜索引擎优化).因此，随时了解自己是否拥有一个至关重要。
综上所述（虽然不是强制性的），了解并正确使用 "robots.txt "文件是今天成功管理网站的一个组成部分。如果你在执行这些步骤检查其存在后仍不确定，请考虑征求专家意见，因为这可能涉及到更高级的IT技术。 知识 比预期的要好。
请记住，没有 "robots.txt "并不一定是坏事，它只是意味着搜索引擎机器人对你网站所有区域的不受限制的访问。一旦我们了解了 "如何在我们的网站上有效地阻止robots.txt"，对这种访问进行有意义的控制就变得非常有可能！
如何创建一个Robots.txt文件
创建robots.txt文件是管理搜索引擎机器人如何与你的网站互动的一个重要步骤。让我们深入了解一下创建文件的过程。
了解Robots.txt的组成部分
一个典型的robots.txt文件包含两个主要部分，包括User-agent和Disallow指令。User-agent指的是特定的网络爬虫，如Googlebot或Bingbot，你希望你的指令是针对它们的。另一方面，Disallow指令是你列出你不希望某些机器人爬行的网页或目录的地方。比如说：
用户-代理：* 不允许：/private/
在这种情况下，所有机器人（'*'代表所有）都被阻止访问 "私人 "目录下的任何东西。
新文件生成
现在开始生成这段漂亮的代码。你将需要一个纯文本编辑器--记事本就可以了。像Microsoft Word这样的文字处理程序不适合这项任务，因为它们有插入额外格式化字符的倾向。
首先，创建一个新文件，并将其保存为 "robots.txt"。请记住，这里的大小写很重要--确保所有内容都是小写的。接下来，根据你要屏蔽的部分，精心设计语法。记住，每条规则都应该在自己的行上：
用户-代理：* 不允许：/
这条规则禁止所有机器人访问你的网站的任何部分（以'/'为标志）。谨慎使用它!
ǞǞǞ 关键字 这里是具体的；当学习如何阻止机器人时，机器人txt模块是多功能的工具，可以精确控制机器人的行动。
上传你的文件
创建后，使用FTP（文件传输协议）将robots.txt文件上传到网站的根文件夹。它通常与你的wp-admin、wp-content和wp-includes文件夹位于同一位置。
在成功完成这些步骤后，用户可以通过在你的主域名后添加"/robots.txt "来定位你的Robots.txt文件--例如，www.example.com/robots.txt。现在你已经掌握了如何创建robots.txt文件了
但请记住，虽然在引导诚实的爬虫方面很有效，但礼貌性的规定只能遵守；更狡猾的破坏性机器人可能会选择直接无视它们。
有了这些知识，你就会牢牢记住，维护是必要的 - 定期监测确保持续有效，所以要抽出时间进行定期检查。编码愉快!
阻止特定的机器人和文件/文件夹
在深入研究 "如何封堵机器人txt "这个话题时，重要的是要明白，这项任务并不总是限制所有的爬虫。很多时候，你可能只想指定某些不受欢迎的机器人，或者只限制对指定文件和目录的访问。在这些细微的情况下，提高你对处理robots.txt文件的掌握程度可以使一切变得不同。
多样性中的统一性是各种在线服务广泛使用的策略。不同类型的网络爬虫漂浮在 互联网 具有不同的行为和能力。虽然有些蜘蛛对 指数化 内容，而垃圾邮件机器人等其他机器人则可能会损害您网站的 业绩.
这些建设性不强的机器人可以通过两种方式被阻止：狭义或广义。狭义的方法是指从整个网站上阻止一个特定的机器人，而广义的方法是指从一个特定的文件夹或文件中阻止每个机器人。
在继续之前，让我们了解一下如何在 robots.txt 文件中指定一个用户-代理（即机器人）。本文件中的每条规则都必须以指定 "用户-代理 "开始，后面是冒号（:），然后划定代理的名称。把它留成星号（*）意味着任何访问该网页的机器人。相反，人们可以选择为某些机器人打出特定的名字。
接下来是 "禁止 "或 "允许 "的指令，它指示允许确定的用户代理对你的网站的特定区域进行操作。
请记住，重要性不仅仅在于知道如何阻止机器人txt，还在于知道为什么要阻止机器人txt--既要注重防止资源浪费，又要防范来自受损代理的恶意活动。
在完成我们关于屏蔽细节的论述时，请记住，在信任尊重这些规则时，可靠性起着重要的作用--主流搜索引擎一般都严格遵守；不幸的是，不太知名的搜刮机器人很少能正确贯彻。如果你想保护敏感数据，不要仅仅依靠robots.txt!
Robots.txt vs Meta Robots vs X-Robots
知道如何用robots txt拦截机器人是至关重要的，但这并不是控制你网站上机器人行为的唯一方法。此外，还有 元 robots和x-robots标签，是向在线机器人提供有关你的网站的指示的另外两种有效手段。如果你想知道使用哪一种，或者每一种有什么区别，让我解释一下。
Robots.txt文件
正如我们已经讨论过的，robots.txt文件作为网站管理员的主要指南，引导搜索引擎进入或远离网站的特定部分。这个小文本文件位于根目录级别，通常为所有用户代理机器人提供一般指令，除非指出特定的指令。
本质上，robots.txt文件对机器人说："这些区域是禁区"。然而，请注意，并非所有的蜘蛛都会尊重这些规则。
什么是Meta Robots标签？
相比之下，Meta Robots标签提供了更细化的控制。 广泛的 robots.txt文件所提供的指导方针。这些HTML属性指示搜索引擎机器人对单个页面而不是整个目录或网站进行索引。它们告诉搜索引擎是否对一个页面进行索引（"noindex"），跟踪其链接（"nofollow"），"none"（这意味着没有索引和链接）。 不关注)以及其他命令。元机器人标签在逐页的基础上直接与搜索引擎爬虫沟通，在管理爬虫行为方面提供真正的多功能性。
X-Robots标签如何工作？
X-robots标签与元robots标签有一些相似之处，因为它们也在页面层面提供详细的指示。然而，与出现在HTML文档中的同类标签不同，X-robots标签位于 HTTP 标题。 值得注意的是，这种位置使它们甚至可以对非HTML文件（如PDF或图像）起作用。与元机器人标签一样，X-robot标签的操作范围包括 "noindex"、"nofollow"，甚至是 "nosnippet "等。
因此，尽管学习如何使用robots txt阻止机器人，对任何网站管理员来说都是有价值的知识，但在策划你的网站与网络爬虫的关系时，了解元机器人和x-robots的优势和应用提供了一个更广泛的工具集。
发表于6 月 2023
最后更新于 2023-06-29T16:47:23+00:00 by 卢卡斯-泽勒兹尼
博客
相关帖子
