SEO中的抓取深度

爬行 深度 搜索引擎优化:是浅薄的 爬行 限制您网站的 有机排名?

爬行深度是一个重要的概念，在 搜索 搜索引擎优化（SEO）。搜索引擎利用专有软件访问网站并分析数字内容。 内容.它被称为爬行，是获得有机排名的前奏。您需要让搜索引擎抓取您的网站，这样它们才能 级别 它。然而，低的爬行深度将导致浅层爬行，限制了有机排名。

爬行深度的基础知识

爬行深度指的是 其中 搜索引擎抓取你的网站。抓取始于一个入口点。搜索引擎将通过最初访问一个页面进入你的网站。也许他们已经知道这个页面，也许他们在其他地方看到它被提及。假设该页面有链接，搜索引擎将跟踪它们。

搜索引擎会跟随初始页面的链接到你网站的其他页面。如果这些页面有链接，搜索引擎也可能跟踪它们。最终，搜索引擎将停止跟踪这些链接。即使它们目前正在抓取一个有链接的页面，它们也可能离开你的网站而不去跟踪它们。

链接使访问者能够浏览你的网站，使搜索引擎能够抓取你的网站。抓取深度是指搜索引擎在从一个页面到另一个页面的过程中会遵循多少个链接。例如，如果他们只抓取一个 单页您的网站的爬行深度为1。如果它们抓取了最初的页面，然后通过链接进入第二个页面，您的网站的抓取深度将为2。另一方面，如果搜索引擎访问了100个页面，您的网站的爬行深度将为100。

高爬行深度有以下好处。

- 更多页面被搜索引擎收录

- 当你更新内容时，搜索引擎会很快注意到

- 深度链接的网页有更高的排名

- 确保 链接权益

- 更多的有机搜索流量

如何提高爬行深度

你如何在你的网站上建立链接会影响你的网站的抓取深度。不是所有的链接都是一样的。即使它们对人类访问者的功能是一样的，搜索引擎也可能根据它们的建立方式来对待链接。

不关注 链接会损害抓取深度。如果你建立具有这种属性的连接，搜索引擎可能不会跟踪它们。他们不把nofollow链接作为主要的排名方式 信号 或通常跟随他们。对于 内部链接，避免使用nofollow属性。你可以把它用于 出境 链接，但你不应该对内部链接使用这个属性。

除了 nofollow 链接，断开的链接也会损害抓取深度。这是因为搜索引擎无法跟踪这些无功能链接到其他页面。断开的链接有 死人 链接。它们执行 404 错误，所以它们会阻止搜索引擎的抓取。你可以通过修复断裂的链接来提高你网站的抓取深度。

你还应该避免用 机器人 指令。Robots指令是Robots协议标准中基于规则的指令。你可以用它们来阻止搜索引擎抓取特定页面。禁止（Disallow）是一个机器人指令，顾名思义，它禁止搜索引擎访问一个页面。如果你想让搜索引擎跟踪一个页面的链接，你应该避免对该页面使用disallow robots指令。

一个现场内容 审计 可能会发现改善你的网站爬行深度的方法。抓取是一个资源密集型的过程。搜索引擎必须花费宝贵的计算资源来抓取网站。因此，在到达你的网站的原始和更有价值的内容之前，它们可能会把所有的计算资源消耗在重复的内容上。

删除重复的内容将鼓励搜索引擎将其抓取软件集中在你的网站的原始内容上。因此，他们不会被重复的内容所困扰。相反，搜索引擎将抓取你网站上的原始内容，这是更有价值的。

如果你不愿意 删除 它，你可以使用 典型的 标签来优化你网站上的任何重复内容。访客不会看到这些标签；规范标签是隐藏的片段，只有搜索引擎会看到。它们允许你指定首选或主要版本。例如，如果三个页面有相同的内容，你可以在两个非首选的版本上放置一个规范标签。这些规范标签应该具有 地址 你希望搜索引擎抓取的首选页面版本的URL。

你可以创建一个搜索引擎 网站地图 以提高您网站的抓取深度。搜索引擎网站地图是类似于目录的特殊文件--通常是用可扩展网站地图创建的。 标记 Language (XML) extension format — that list the address URLs 的页数。

搜索引擎网站地图是为搜索引擎设计的。访客也可以访问它们，但搜索引擎使用它们来寻找和抓取页面。你可以向你的网站上传搜索引擎网站地图。搜索引擎找到它后，就会知道你的网站页面的位置，这可以帮助他们从一个页面移动到另一个页面。

如果你的网站在其页面上使用了无限滚动，你应该检查这些页面，以确保搜索引擎仍然可以抓取它们。无限滚动是一种交互式的导航功能，允许访问者通过滚动来产生新的内容。具有这种导航功能的页面基本上没有底部。相反，当访问者在这些页面上向下滚动时，新的内容会动态地出现。

无限滚动给搜索引擎带来了挑战。虽然访问者可以通过拖动鼠标或点击和滑动屏幕进行滚动，但搜索引擎没有这种选择。他们只能看到不需要任何形式的滚动的渲染内容。如果访问者通过滚动来查看页面上的链接，搜索引擎就不会看到它们。为了获得更高的抓取深度，请将分页与无限滚动结合起来使用。

抓取深度优化并不那么困难。搜索引擎从一开始就一直在抓取网站。 互联网，所以他们知道如何有效地进行。尽管如此，你可以通过避免nofollow链接、修复断裂的链接、删除任何禁止指令、优化重复内容、创建搜索引擎网站地图以及结合使用分页和无限滚动来提高网站的抓取深度。