爬行和索引是搜索引擎优化的两个专业术语，当很多新手接触搜索引擎优化的时候，他们会将这两个词同化使用，认为爬行就是索引。今天笔者就和年夜家仔细讲述一些爬行好索引之间的区别是什么?

1、爬行

当搜索引擎蜘蛛在站点中产生爬行时，站点中有一个并且只有唯一一个url被抓取，搜索引擎可以从其他网页的链接跟踪爬行到这个站点中，所以对爬行的认识就是搜索引擎依照链接对站点特定的url进行抓取。

可能上面的概念比较抽象，我们举例简单说明，比如说，在很多时候蜘蛛在爬行站点的时候，站点中的有些链接就不克不及被抓取，比如：

(1)链接编码是Javascript，因为这被称为“蜘蛛陷阱”，爬行站点的时候，蜘蛛会自动屏蔽爬行这些链接。

(2)链接被标识表记标帜为robots.txt的 “制止指令。

(3)孤立的链接(没有人挂的情况下的sitemaps.xml，包含如链接)

(4)链接所在的页面是一个包含链nofollow指令的页面

(5)原本是要抓取的链接，可是因为办事器不稳定的原因无法进行抓取。

2、索引

索引和爬行最年夜的区别就是，索引不是一个特定的url被抓取，而是页面中的很多歌url，简单的说就是当搜索引擎确定好要索引哪个页面之后，它就会这个页面中的所有url进行措置和抓取，在抓取的过程中，蜘蛛会按照页面的内容进行适当的措置，举一个简单的例子，在有的页面内容中虽然存在一个url但这个url已经加上了NOINDEX指令，那么搜索引擎是不会抓取这个页面的。

站点页面处于非索引状态的原因：

(1)在页面中含有NOINDEX指令()

(2)重复的内容：具有相同内容页面可能无法被索引。

(3)其他原因：链接的年龄和链接风行

如果新手想知道站点中的哪些页面已经被索引了，那么可以通过“site+网站域名”的体例检索，通过这样的体例，搜索引擎将会显示有多少个页面已经被蜘蛛所引并且是哪些页面。

爬行和索引虽然暗示的都是蜘蛛抓取站点，但他们所包含的标的目的是不一样的，这里笔者建议注意区分隔。

本文原创.jiaodahaiwai 网站，首发A5网站，转载请保存有效的链接地址，谢谢!