← 返回 QuantGrowth 首页

辛普森悖论,AB实验分流的数据陷阱

数据
数据A/B 测试
辛普森悖论,AB实验分流的数据陷阱笔记配图
辛普森悖论,AB实验分流的数据陷阱笔记配图
辛普森悖论,AB实验分流的数据陷阱笔记配图
辛普森悖论,AB实验分流的数据陷阱笔记配图
辛普森悖论,AB实验分流的数据陷阱笔记配图
辛普森悖论,AB实验分流的数据陷阱笔记配图

当我们在A/B测试中发现B渠道在每一项细分收入上都占优,但总人均收入却落后时,这并非简单的数据错误,而是辛普森悖论正在悄无声息地扭曲我们的判断。
你是否也曾被一组看似确凿的汇总数据所误导?就像当年伯克利大学,因为女生报考热门专业的结构性差异,而被冤枉存在性别歧视。

一、辛普森悖论原版经典故事:伯克利招生“性别歧视”冤案

辛普森悖论的经典真实案例,来自 1973 年美国加州伯克利大学招生事件。
学校对外公布录取数据一出,舆论瞬间哗然:全校男生整体录取率显著高于女生,媒体立刻发文指责校方存在严重性别歧视。
为自证清白,校方把数据按各个院系拆分重新统计,结果彻底反转:几乎每一个独立院系内,女生的录取比例都高于男生。

矛盾的核心根源,就是分层人群结构失衡:女生大多扎堆报考招生名额少、淘汰门槛极高的人文社科专业;男生则集中选择招生名额充足、录取宽松的理工科。海量女生聚集在低录取率院系,直接拉低了全校女生的整体平均录取率,凭空制造出 “歧视” 的虚假结论。 1951 年统计学家辛普森正式归纳定义该现象:拆分到细分维度,每组内表现更优的群体,全部数据合并汇总后,整体表现反而更差

二、田忌赛马:古人提前 2000 年演绎悖论核心逻辑

大家读《田忌赛马》只当是孙膑的博弈论,做过A/B 实验复盘后才明白:这个千年典故和辛普森悖论底层逻辑完全同源,也是数据分析时最容易踩的致命误区。

我们把赛马套入统计视角就能一眼看懂:
细分分层(同档次马匹一对一单挑):齐王上等、中等、下等马,全部强于田忌对应档位马匹,单独看每一层,齐王全方位碾压;
全局汇总(三局对战总结果):孙膑主动调换对战匹配规则,用己方最弱下等马消耗对方最强上等马,再用上、中等马赢得后两局,最终 2 胜 1 负拿下全局胜利。

二者底层规律完全相通:分层局部结论和合并后的整体结论彻底撕裂。

唯一本质区别:

田忌赛马是主动利用分层矛盾、调整分组规则,主动创造优势达成目标

辛普森悖论是数据天然自带分层结构,各组样本体量权重失衡,不做分层拆解就会被大盘数据误导,做出错误判断

三、互联网实战案例:小说 APP 渠道数据陷阱

以某小说应用为例:

图片 1

辛普森悖论其收入由充值收入和广告收入两部分构成(简化假设为两类用户不重合)。B 渠道用户的人均充值收入(0.57)高于 A 渠道(0.50),且人均广告收入(0.41)也高于 A 渠道(0.25)。但汇总计算后,B 渠道的总人均收入反而低于 A 渠道。原因是两个渠道的用户结构存在本质差异——B 渠道新增用户占比高、整体付费意愿低,两个渠道直接比较是不成立的。
截屏2026-08-29 11.19.48

辛普森悖论从另一个角度表明:A/B 分流的同质性是不可妥协的前提条件,不同质的样本不能直接对比。
所以我们应该严格遵循分流的同质性和同时性: