一个是搜索引擎市场具有垄断地位的巨头,一个是颇具争议的闯入者,这场围绕搜索引擎的“3B大战”进入了第二个回合:钓鱼。
几天前,百度工程师放出“鬼节捉鬼”的钓鱼策略,将争论引向一直以隐私安全为底牌的360。问题出在一个叫做Robots的协议上。360被指不遵守协议,直接用浏览器抓取用户浏览信息,可能致使用户信息泄露。“3B大战”的对手百度等互联网公司发出了要求员工卸载360浏览器的号召,搜狗CEO王小川也表示应遵守Robot协议,担心360在安全上做裁判又做球员。
CNNIC最新的统计数据显示,360搜索覆盖中国网民比例已由上周的13.04%降为11.61%,覆盖人数由3420万降为3052万,近一周时间,损失用户达368万。
3B大战第二回合,落在了浏览器端直接搜集网页信息的争议上。《每日经济新闻》在调查中发现,Robots协议被浏览器开发人员视为“Google自己制定的协议规范”,“连行业规范都算不上”,搜索引擎对用户隐私权的定义,目前还是空白。
百度非原创式捉“鬼”
8月31日,一则由百度工程师发布的微博引发了业内的广泛讨论。
这位名叫赵明华的百度互联网数据研发部经理称,百度的工程师制作的几个特殊页面没有任何外链,由于搜索引擎爬虫只能通过链接爬行网页,因此这个网页是完全封闭的 “孤岛”,不可能被搜索引擎抓取到。但令人意外的是,百度工程师试着在360搜索中输入以上关键词,结果这个网页赫然出现在搜索结果第一行,并可以直接点击访问浏览网页内容。但再换百度、谷歌、搜狗、搜搜等其他浏览器搜索相同内容,却无法返回相应网页。
为什么一个完全封闭的网页竟然能被360搜索引擎抓取到?赵明华的解释是,他曾用360浏览器打开过这个网页。在360浏览器的隐私策略中,注明了360安全浏览器会在用户的计算机上记录有关浏览历史记录的实用信息。
百度认为,百度钓鱼流程揭示了360搜索存在安全隐患:只要用户通过360浏览器访问过一个网页,无论是私人账号信息,还是公司内网机密数据,都会被360浏览器记录下来,并被360搜索爬虫抓取、上传到360服务器。
不过,360却有着自己的说法。360在官方微博上指出,百度以所谓的“孤岛”数据污蔑360泄露用户隐私。其实百度的做法很简单,只要通过外部链接引导360爬虫抓取页面,同时屏蔽其他搜索引擎,然后切断外链,就可以造成只有360搜索收录所谓“孤岛”的假象。
9月2号,360董事长周鸿祎(微博)对此回应,“这是百度在滥用Robots协议,阻碍360进入搜索市场。”
百度“鬼节抓鬼”的行为,在互联网界并非首例。2011年初,谷歌由于怀疑必应借鉴其搜索结果,也采取过这种做法。
2010年10月份,谷歌注意到Bing的搜索结果越来越多地和谷歌重合,头条结果相同的趋势也越来越高,由此必应抄袭了他们的搜索结果。
为了验证猜想,谷歌在去年12月进行了一场钓鱼行动。他们选择了100个异常钓饵进行手动搜索排名,将这些关键词的搜索结果指向毫无关联的页面。当时约20位谷歌工程师在电脑上使用IE浏览器来搜索这些关键词,然后通过IE在谷歌上搜索这些钓饵,诱使必应上钩。两周后,谷歌工程师再通过必应搜索当时的钓饵,预先埋下的结果就开始陆续出现在必应结果中,由此发现必应通过IE收集用户上网的隐私数据,直接记录上传了用户访问网址并随后放入搜索结果中。
搜索引擎与商业网站博弈
赵明华称,360绕过了Robots协议,利用浏览器记录并上传用户数据和上网行为,并形成自己的网址库,再用伪装和隐藏过的爬虫来抓取快照,生成搜索结果。
那么,从浏览器端直接搜集网页信息是否正当?
实际上,Robots协议并非强制性法规,而是搜索引擎诞生后,互联网业界经过长期博弈,最终在搜索引擎与商业站点、公众知情权和用户隐私权之间达成的一种妥协。
据《每日经济新闻》了解,早期的互联网主要是“用户-网站”模式。用户通过网站获取信息,网站通过吸引用户点击来实现广告收入。不过,当谷歌把搜索引擎变成一种成功的商业模式之后,很多网站原有的商业模式遭到了严重破坏。