搜索引擎的爬行，抓取，索引和收录

抓取和索引：它们是什么以及它们在 SEO 中的重要性

SEO 中的 “抓取和索引” 这些术语你如果是个小白是不是感觉有点听不懂？这可以说是每个页面要出现在搜索引擎上的必经之路。互联网上的信息量是不可想象的庞大，并且不断扩张。你有没有想过搜索引擎是如何在短短几秒钟为你提供寻找内容的？

每个网页都需要搜索引擎进行一段时间的分析，这段时间将取决于其质量。

其实我们要是细分的话，不止这两步，而是: 爬行，抓取，索引和收录，爬行和收录常常会被忽略掉。

什么是爬行？

在 SEO 领域，这个过程就是搜索引擎的小机器人（蜘蛛或爬虫）在网页之间游走，搜寻新的领地和了解变化。

什么是抓取？

抓取小机器人（蜘蛛或爬虫）搜索到的链接并保存到数据库。

爬行和抓取通常都是叫抓取（crawling）

什么是索引？

索引指的是包含在谷歌或其他搜索引擎列表中的网页。在用户进行特定搜索时，它将出现在搜索引擎结果页面（SERPs）中。

什么是收录？

和索引没什么区别，通常我们的网站出现在了搜索页面上就叫被成功收录了。

爬行和抓取通常都是叫抓取（index）

抓取和收录的区别

爬行负责测量搜索引擎找到特定网页内容的能力。如果网页的爬行没有问题，就很容易访问你的内容。如果存在问题，或者发现了损坏的链接和没有链接的页面，搜索引擎可能无法找到该页面。

另一方面，索引负责确定搜索引擎是否有能力将特定网页添加到其数据库中，以便对其进行分类，然后供其他有意图搜索的用户查看。尽管Google可以爬行你的整个网站，但并不需要对所有页面进行索引。

抓取和收录在 SEO 的重要性

一旦页面被爬行和索引，它们就准备好在搜索结果中显示给用户了。谷歌使用一种算法，根据页面的相关性从高到低对其进行排序，考虑到所使用的关键字和内容的质量。

如果一个链接无法被爬行，即没有外部或内部链接指向它，它将无法被搜索引擎找到，用户也无法看到。