A/B测试，就是在争议和直觉之外，用数据和单一变量原则来接管你的主观判断。
A/B 测试的定义
翻看了很多国内外文献，想找一个比较精确的定义。但大家的定义基本就是举例子——“A/B 实验就是功能组的按钮是红的，对照组是绿的，比较两组数据表现”。既然找不到现成的，我就自己归纳一下：
A/B Test是指：为了达成一个明确的目标，对整体流量进行均匀的抽样，在置信的样本量和实验时长的前提下，对抽样的功能组增加单一变量，来评估并归因该特性的效果。
看几个典型的 A/B 测试的例子
先来看一个常见的例子：某款资讯类 App，通过变更顶部 Action Bar 的发布按钮图标样式，来检测对点击率的影响。因为这种 UI 风格的实验，往往是没法通过争论或者逻辑推导得出好坏的，一定要上线去跑 A/B 测试才能知道对业务的影响。
这里可以注意到，功能组和对照组之间只有一个变量——就是入口的图标样式不同。这就是 A/B 实验里经常提到的“单一变量原则”：通过控制一个变量，来确定两组实验表现的差异是由这一个变量造成的。
资讯App入口图标AB测试
再来看另一个例子。某款短视频应用，对照组采用双 Feed 流的形式，功能组采用沉浸式（全屏上下滑动）的形式。这个改动相对较大，涉及 UI 交互、推荐算法、产品策略等，我们把这一系列改动作为一个整体的“大单一变量”——因为缺了哪一块，实验方案都不完整。
短视频沉浸式AB测试
这个例子还比较有意思。最早这款短视频应用采用的是双 Feed 流的形式，它们的竞品用的是沉浸式。我当时跟它们的产品经理聊，说：“你们为什么不采用沉浸式？他”给我讲了很多理论依据：第一，不应该直接播放，应该让用户主动选择；第二，双 Feed 流对直播分发更友好；第三，双 Feed 流对用户画像的刻画更准确……他是一名非常资深的产品经理，我觉得他讲得很有道理，被他说服了。
但大概过了三个月，他们的产品就增加了沉浸式模式，他们叫「大屏模式」，甚至一些默认频道也改成了沉浸式。后来我又问他，他说确实新版本测下来，人均播放视频数会高一点。
这个 Case 其实告诉我们一个道理：产品 Sense 可以提升方案正确的概率，但是做一遍 A/B 测试你会发现，可能结果跟你想象中的不一样。所以尽量用 A/B 测试的数据来接管你的主观判断。