测试的别的一个重要意义在于,没有任何一小我能代表所有的用户,老板的意见、运营部分的经验以及你自己的直觉都不是用户的感触感染。难道你没有生过闷气吗?——你的老板的意见让你冥思苦想两个月的方案在一分钟之内就付之东流,因为你的老板相信自己最能代表用户的感触感染,但你明白也许不是这样,但你没有体例说服,甚至连施加一点点正面影响的可能性都没有。这个时候,也许我们需要做一些测试,让真正的用户来参与,来投票,来证明到底谁最接近正确。
没有测试就没有最后的胜利,或是通过暂时的挫折引导我们走向胜利,不管怎么样,测试才能给我们一些真正落地的结论,不然我们的阐发可能只能在天空中飘着,我们的工作也年夜抵只能在空中飘着或只是出几个数据做几张报表。
测试的种类有很多,例如下面这个图中所展示的。事实上很多用户可用性实验自己就是测试的一种。
图6
AB测试是最重要也最常常使用的东西。遗憾的是,我的博客中竟然还没有一篇专门描述AB测试的文章,以至于我无从引用。这篇文章本不太想讲述很是根本的内容,但对AB测试,我仍是想说这是网站阐发乃至所有阐发最为重要的根基作业之一,因此我在下面的引用部分中会介绍AB测试,如果已经很体会的朋友可以直接跳过。
AB测试
没有比较没有真相。
在我们的邻国,那里的统治不允许人们取得任何外来的信息,乃至于当这个国度派出一些IT人员到我们这里工作的时候,整个世界都在惊呼——他们不怕这些人脑子被"污染"?这个国度不允许外部信息,是因为不希望老苍生做出比较。
但网站阐发却必须比较,我们无时无刻不在比较。做细分是为了比较,我曾经总挂在嘴边的"没有细分没有真相",其实就是说的没有比较就没有真相。
AB测试帮忙我们实现比较。AB测试好用的原因在于,它提供了一个公允的比较的情况——我们不会把一个年夜象和一个河马相比,我们比较年夜象和年夜象。
对比最惊骇的几个问题AB测试都帮我们避免了。其一,进行对比时会受到很多外部情况的影响,例如时间。你可以在不合的时间比较同一个事物,例如一个网站在6月1日上线了新的首页,你可以比较整个5月和整个6月首页的表示,但问题是,5月和6月有很多不合,例如6月可能会做促销,或5月的流量来历主要是搜索引擎流量而6月主要是直接流量。其二,比较自己也可能受到样本的影响,尤其是在进行用户可用性测试的时候,我们不年夜可能随机选取一万小我进行可用性测试,因此我们只能认为某几个我们选取的样本能够代表年夜大都,但事实上任何个别都不无法真正代表年夜大都。
网站阐发所应用的AB测试能够解决这两个主要问题的原因在于它能够实现对同时产生的随机的总体(而不是样本,除非你要限定样本)的比较。这句话有点拗口,简单说来,就是AB测试能够在同一个时间、基于所有的用户,对两个或多个不合的比较对象进行对比。
举一个网站阐发常见的例子——我们现在感觉首页不那么好了,于是我们让设计部分设计了一个新的首页。新的首页看起来很不错,但我们不知道我们目前网站的用户是否喜欢它。于是我们做AB测试——我们把原来的首页(A页面)和新设计的首页(B页面)同时上线,我们的用户仍是输入以前网站的域名,所有的流量渠道也仍然都指向以前的首页(A页面)。但奇妙的是,虽然所有的流量都是进入的A页面,但一部分的用户(一般都是一半的用户)看到的其实不是A页面,而是B页面,并且他们将一直看到B页面,而别的一部分用户则仍是一直看到A页面,直到测试结束。这部分看到B页面的用户使我们专门选出来的吗?完全不是,他们是完全随机被分派到B页面的。
图7
因此,AB测试做同一页面的不合版天职析真是太好了——它不受时间的影响,因为测试是同时产生的,它也不受样本的影响,因为所有的用户都可以参与测试,并且用户的分派也是完全随机的。