对真假百度蜘蛛，相信搜索引擎优化及站长们已经有明确的手段去辩白了。百度也在官方通告了如何去判别伪装成百度蜘蛛的抓取，详情请参考这篇文章：.百度/search/spider.htm

假蜘蛛对我们网站的危害是巨年夜的，具体有：

占用网站带宽，致使网站流量上升，增加额外开消，在有限带宽的前提下，阻碍了正常蜘蛛的抓取，误导了我们在对网站展开搜索引擎优化工作时的思路，部分伪装成假蜘蛛的收集东西剽窃了我们的工作，我们看到，网上有很多人在分享如何“捉住”假蜘蛛的文章，但这些文章只是千篇一律的描述了“捉住”假蜘蛛的过程及操作体例。却没有分享从如何真正的判别蜘蛛的真伪。

作者本人最近在对一个电商网站进行搜索引擎优化优化时，就碰到了这样一个案例，险些致使将真蜘蛛错当假蜘蛛来措置。

一、发现“假蜘蛛”

搜索引擎优化优化要依靠年夜量的阐发和数据来实现，其中日志阐发是重中之重，在日志中我们可以看到很多平时统计东西无法看到的数据和事实。

每周三我都要对该电子商务网站进行周日志的阐发，以便来统计上一周的优化效果，在本周进行对网站日志进行阐发查看时，我发现了几个不属于认识中的“蜘蛛IP”，如图：

我们知道，百度蜘蛛一般来自于202.181.108.* 和123.125.71.* 这两个IP段(顺便科普一下，这两个IP段的百度蜘蛛没有所谓高权重和降权之分)。显然这三个IP在“常识”中，不属于百度蜘蛛所属的IP段。为了确保不误杀百度蜘蛛，笔者用nslookup ip命令反解了此IP，取得以下信息：

这个时候，根基已经可以确定该IP不属于百度蜘蛛的IP段，是一个“假蜘蛛”，我们需要屏蔽该IP释放那些被占用的带宽。

二，误会“假蜘蛛”

就在要对以上提到的三个IP进行屏蔽的时候，笔者突然想到，这个电商网站在上周通知我他们要使用平安宝办事，需要将DNS解析到平安宝的办事器上，而平安宝则会按照用户的拜候情况，选择距离最近的一个节点进行CDN加快。

在我之前的例行搜索引擎优化查抄中，发现网站IP被解析到了陕西的一个IP上，而这个网站IP和这次我从网站日志中发现的三个“假蜘蛛”IP属于同一IP段。为了验证这个推测，我又重新仔细查看了网站日志，发现谷歌蜘蛛和搜狗蜘蛛也来自于之前三个IP(之前对网站日志进行了拆分，只查看百度的情况，因为网站是针对百度做搜索引擎优化的)。

这下子总算清楚了，这些所属IP的蜘蛛不是假蜘蛛，而是货真价实的百度蜘蛛、谷歌蜘蛛和其他搜索引擎的蜘蛛。只不过因为他们通过了一次CDN节点，所以造成了他们的来历IP是一致的。

三，虚拟主机如何产生“假蜘蛛”

由此笔者突然想到，之前在阅读相关文章的时候，常常会看到有站长埋怨发现假蜘蛛，来自XX机房(就那么一两家机房)。

这是一件很奇怪的事情，莫非收集东西和假蜘蛛都产自这个机房?事实自然不是那样的，而是：

很年夜一部分发现假蜘蛛的站长，所使用的是某主机供给商提供的集群主机，或近似性质的虚拟主机集群性质的虚拟主机，同CDN的事理是相同的，行将客户的空间和站点资料同步到同一个群组的所有办事器上蜘蛛的来历不合，一些是直接拜候站点的，另外一些是通过一些外链拜候站点的。而这些通过外链拜候站点的蜘蛛，会就近通过CDN节点拜候CDN节点每家公司都不一样，但年夜致分为地区年夜区(不是省)和电信、网通这样的体例划分那些通过CDN节点拜候网站的蜘蛛，来历IP自然不是从北京总部解缆时的IP

最终事情取得了很好的解决，该电商网站自优化以来效果一直杰出，虽然采取了CDN，但事实证明CDN对搜索引擎而言没有任何障碍，反而有利于网站速度和提高用户体验。

这个搜索引擎优化案例也同时奉告我们，网上的搜索引擎优化教程是会过时的，随着互联网的前进，我们搜索引擎优化也要学会理智的去对待一些教程和分享，要有质疑和勇于实践的精力，同时对互联网的一些根基的手艺知识要有所体会。