索引页链接补全机制的一种体例

一、布景

Spider位于搜索引擎数据流的最上游，负责将互联网上的资源收集到本地，提供给后续检索使用，是搜索引擎的最主要数据来历之一。spider系统的目标就是发现并抓取互联网中一切有价值的网页，为达到这个目标，首先就是发现有价值网页的链接，当前spider有多种链接发现机制来尽可能快而全的发现资源链接，本文主要描述其中一种针对特定索引页的链接补全机制，并给出对这种特定类型的索引页面的建议措置规范用于优化收录效果。

当前年夜大都互联网网站以索引页和翻页的形式来组织网站资源，当有新资源增加时，老资源往后推移到翻页系列中。

如下图所示：

图表1

http://roll.sina/news/gnxw/gdxw1/index.shtml

图2为18小时后该网页翻页系列的第四页的内容，在这段时间内新增了三页多的资源，图1中红色矩阵圈到的资源在18个小时后已经往后有序推移到第4页的红色方块处。

图表2 18小时后第四页

http://roll.sina/news/gnxw/gdxw1/index.shtml

对spider来讲，这种特定类型的索引页是资源链接发现的一种有效渠道，可是由于spider是按期查抄这些网页来取得新增的资源链接，查抄的周期同资源链接发布的周期不成避免会有不合(spider会尽可能探测网页的发布周期，以公道的频率来查抄网页)，周期不合的时候，资源链接很有可能就被推到翻页序列中，所以spider需要对这种特殊类型的翻页系列作翻页补全，从而包管收录资源的完全。

2、主要思路

本文主要讨论这种资源按发布时间有序排布的网页，即新发布的资源排布在翻页第1页(或翻页最后一页)，老的资源往后(或往前)有序推移的索引页的补全机制。主要思路是将整个翻页系列的网页当作一个整体，综合判定它们的抓取状态，通过记实每次抓取网页发现的资源链接，然后将此次发现的资源链接与汗青上发现的资源链接作比较，如果有交集，说明该次抓取发现了所有的新增资源;不然，说明该次抓取并未发现所有的新增资源，需要继续抓取下一页甚至下几页来发现所有的新增资源。

2.1 资源链接是否依照时间排序

判断资源是否按发布时间排布是这类页面的一个需要条件，那么如何判断资源是否按发布时间排布呢?如上面图1所示，有些页面中每个资源链接后面跟从着对应的发布时间，通过资源链接对应的时间调集，判断时间调集是否按年夜到小或小到年夜排序，如果是的话，则说明网页中的资源是按发布时间有序排布，反之亦然。图1中资源从上到下对应的时间是越来越小的，便是资源按发布时间有序的。

还有一类网页，如下面图3所示，网页内容中有多种排序体例，如按销量排序，按代价排序，如评论数排序，按上架时间排序。通过识别和提取当前的排序体例，然后判断当前的排序体例是否为按时间排序，如果是，则说明网页中的资源是按发布时间有序排布，反之亦然。图3中的排序体例是按上架时间排序，属于时间排序体例，所以该网页发布的资源是按发布时间有序的。

别的也会按照资源链接抓回后提取的发布时间综合判断。

图表3 多种排序体例的索引页

2.2 补全机制

对按发布时间有序排布在索引页系列的资源链接，如何包管新发布的资源都被收录呢?如上述所说，在18个小时后，图1中的资源链接已经往后有序推移到翻页第4页了，如此看，这段时间内新增了翻页第2，3，4页索引的资源链接，那么，spider就需要完全的收录这些新增的资源;

首先，当spider抓取18小时后的第1页时，将新发现的资源链接调集，与上一次18小时前第1页索引页调剂记实的资源链接调集作比较，会发现两次调剂发现的资源链接没有交集，所以便可能存在漏链。进而需要继续倡议第2页的调剂，第2页发现的资源链接调集与之仍然没有交集，所以还可能存在漏链，继续倡议第3页，第4页的调剂，最终如图2所示，红框中的链接与上一次索引页调剂记实的资源链接有交集，因此可以判定已经补全了这段时间内新增的资源，从而结束翻页系列的调剂，并包管了该翻页系列的所有链接的补全，从而提升搜索产品的收录效果。