这里顺便描述两个概念，值得被记住——分派到原始的A页面的用户叫做对比组（control group），分派到B页面的用户叫做曝光组（exposure group）。

AB测试其实不是只用于测试两个对象，其实可以测试两个或两个以上的对象，在测试多于两个对象的情况下，对比组就相应增加罢了，每个对象分派到的用户比例就相应削减了。

AB测试的原理就是这么简单，但还有一些其他的注意事项和使用体例，在今天的文章中就不多谈了，我们在未来的文章中做相应的专门的介绍。

AB测试确实能够帮忙我们解决一些悬而难决的问题。在前面的那个酒店网站的例子中，我们可以通过AB测试决定什么样的图片或评论更能够增加转化。

产品司理奉告我，他的经验是带有清洁浴室的图片更能引起人们对整个酒店好的感触感染（事实上这个经验可以通过网站阐发的体例进行验证，即查看那些洗浴间的照片是否会被更多的查看，但由于照片排放位置因素的影响，这个验证稍微有些麻烦），于是我们把一个酒店的图片分为三类，一类没有洗浴间的照片（A），别的一类带有普通洗浴间的照片，并未做特别的优化（B），最后一类是选择性优化拍摄和措置的洗浴间的照片（C）。在此根本上，我们为这个酒店的booking page做了专门的三个版本，除照片不合，其他完全一样。

在测试之前，我们下了一点小小的赌注，对C，年夜家一致认为会有更好的转化率，对A和B，则意见不合。我选择了B可能比A稍好。

最后的成果是A要比B的转化率稍好，但差别其实不特别年夜，或说并没有特别的统计学意义，但C的转化率确实要更好一些，超出逾越A和B年夜概10个百分点。我们认为这是一个了不得的结论，我们发现好的浴室照片对转化可能很有价值。这里我用了"可能"这个词，原因在于仅凭一家酒店的AB测试成果仍然不克不及代表整体情况，我们需要尽可能多做一些近似酒店的AB测试，以取得普遍性的结论。——这样看来，AB测试其实也不是那么简单，复杂不在原理，而在于需要细致和耐心的执行。

测试总能有收获，总能

曾经有一位朋友奉告我，他做了很多AB测试，成果发现AB测试其实不总能解决他的问题。

他的来由是，往往他能够凭借直接判断出来的成果，AB测试的成果跟他的直觉一致。如果他的直觉看不出来各个版本的吵嘴，AB测试的成果也很是接近，以至没有什么统计学意义。AB测试真的有作用吗？

我十分钦佩这位朋友的直觉，但我认为这么理解AB测试是狭隘的，或应该这么说，我们不克不及只做测试不做阐发。

AB测试往往包含两层含义？第一层含义是比较不合测试对象的转化率（或是点击率），这被称为"宏不雅对比阐发"，在图7所展示的例子中，version a页面和version b页面被随机分派了数量相等的用户，但version a只有50个注册（singups），而version b有75个注册，因此我们认为b页面的转化是好过a页面的。但我们必定不会仅仅局限于这么简单的比较，也不会就当即简单拿下a页面，改换为b页面。我们还会继续研究两个版本页面上用户具体行为的差别以推测事实是什么原因造成了version b的注册转化更好，并很有可能能够集中两个页面各自的好处而设计出另外一个新的页面version c，并再做一次ab测试。这叫"微不雅对比阐发"。这就比如我们在医学中的小白鼠实验，两组小白鼠是一样的，且被人工弄上了同一种疾病。我们对B组喂一种新研发的药品，A组只喂安抚剂（如果老鼠世界也明白安抚剂的话），我们发现B组小老鼠病好的更快。宏不雅对比阐发的结论是药品可能有效，微不雅对比阐发则让我们继续探究什么生化原因让B组的老鼠好的更快，以及它们的体内是否有其他的一些转变。

所以我认为，实施恰当的AB测试总是能够给我们带来收获，哪怕在一次测试中没有哪个版本能真正胜出，我们也可以发现其他的用户行为区别，并依据这些区别阐发用户习惯，从而仍然能够为创作发现一种更好的版本提供可能。这是极有意义的。

下面这个案例说明了这种情况。这个案例的测试围绕一个电子商务网站的首页AB两个版本进行。网站希望新的版本（这个版本被认为看起来更加年夜气）不会比原来的那个版本在bounce rate等关头指标上更差，以确保在取代旧的版本的时候不致影响绩效。测试自己的目的其实不让我特别感兴趣，说实话这样的目的真是有些味同嚼蜡，但却是一个很好的能够研究微不雅对比阐发的好战场。