我们先看看宏不雅对比阐发的结论:
图8
从数据成果上看,即便是差别较年夜的购物车添加率和转化率,实际上也并没有显著的差别。在某些指标上,旧版本甚至要更好一些,例如bounce rate和exit rate,而在电子商务转化率上,新版又要比旧版更好一些。这些数据并没有反应二者的差别,或说宏不雅对比阐发并没有给我们什么很给力的结论。
但微不雅对比则不合,相同平静的海面之下,是不合的风光。微不雅对比我们常常使用点击热图的体例,查看两个页面之间的用户行为差别。
图9
图10
两个页面点击图的对比给我们很多信息,我们可以看到B版(新版)的首屏点击比例比A版(原版)更高,这说明新版在首屏的阐扬上更见优势。新版的导航也取得了更多的点击比例,似乎源于B版分类调剂的进一步公道性(这里我们只能猜想是这样,如果想要知道真正的原因,我们可以再专门为导航分类做一次AB测试)。新版值得注意的另外一个特点是,在顶部年夜导航条上,"新品"取得了24%异乎寻常高的点击比例,而在旧版上,我们也注意到,底部"全球新品"栏目的"更多"也取得了7.3%的点击比例,显示了用户对新品的浓厚兴趣。
不过,旧版中取得高达8.9%的"秒杀",在新版中则被"清仓"取而代之,相同位置,却只取得了0.2%的存眷,使人惊奇。显然秒杀带给人们欢乐,而清仓让人感触感染便宜和低质。
在这个例子中,宏不雅阐发不克不及给我们太多有用的信息,微不雅阐发却给了我们太多有意义的故事。如果让我设计一个更好的C版,也许我会在B版的根本上,调剂"清仓",取而代之以"秒杀"。以及,在核心图中强调"新品"。很简单的一个小例子,奉告我们其实AB测试远比直接看起来的更有意思,也更有内涵。
根本驱动因素的测试优化与非根本驱动因素的测试优化
在这个系列文章的前两篇中,我们提到了根本驱动因素和非根本驱动因素,如下图所示:
图11
由于驱动因素被分为了两类,因此对驱动因素优化方案的测试工作也分为两类,即根本驱动因素的测试优化与非根本驱动因素的测试优化。当然,这两类在体例上并没有不合。
前面所提到的两个例子,一个是图2所展示的酒店照片和评论影响转化的例子,另外一个是图9图10展示的首页优化的例子,前者可以归为典型的非根本驱动因素的测试优化,因为前者即产品页面,这些测试能够对某一个或一些产品(这里是酒店产品)的优化起到作用,但其实不完全是全局性的优化。而后者,即首页优化,则属于影响全局的根本驱动因素的测试和优化——例如其中所包含的对导航和目录的修正,以及作为转化路径中很是重要的"桥页",首页所起到的关头性的影响。
而对非根本驱动因素的测试和优化而言,勾当/匹配是极其重要的内容。例如下面这个例子中所显示的,同一个勾当,完全一样的勾当landing page,除在landing page中部分商品被更明确的标识了这个商品具有诱人的"超值价"。
图12
这个测试显示了非根本驱动因素的优化对短时间营销勾当效果的重年夜影响。部分商品被标以"超值价"之后,颠末B页面的流量的转化率产生了明显的增长,产生的销售也逾越两倍的提升。
我的经验是,根本驱动因素的AB测试也许其实不容易(因为我们其实不成能总是不竭优化根本驱动因素,我们是渐进的),对这些因素的阐发和优化取决于公司带领的眼光和对"重要但不告急"事情的真正重视,我们常常碰不到这种重视,所以根本驱动因素的测试和优化总显得可遇而不成求。但我想说,真正能够在根本驱动因素上支出努力的组织,才更有可能逾越同侪,取得真正的竞争优势。