A/B 测试

辛普森悖论，AB实验分流的数据陷阱

当我们在A/B测试中发现B渠道在每一项细分收入上都占优，但总人均收入却落后时，这并非简单的数据错误，而是辛普森悖论正在悄无声息地扭曲我们的判断。 你是否也曾被一组看似确凿的汇总数据所误导？就像当年伯克利大学，因为女生报考热门专业的结构性差异，而被冤枉存在性别歧视。 一、辛普森悖论原版经典故事：伯克利招生“性别歧视”冤案

AB实验做完先别急，先看这组"冷门"指标

当实验结果看似正向时，应该优先检查负向指标——用户退订率是否升高、卸载率有无异动，这些常被遗漏的数据才是真正的‘警报器’。 实验结论的四类指标 输出实验结论时，需从四个维度进行综合分析： **基础指标：**活跃用户数、留存率、使用时长等大盘层面通用的核心指标，用于判断实验是否对产品基本面产生负面影响。 **过程指标：*

别再什么都AB了！"Test everything"是个陷阱

没必要当“Test everything! ”，A/B测试跨越多个应用或涉及复杂合作时，一个小小的能力折现设计偏差，就可能导致整个合作不欢而散。 并非所有改动都值得大动干戈进行A/B实验，有时保留一个功能开关，远比盲目测试一切更具性价比。 发布A/B实验阶段的配置参数，若在全量时悄然改变，可能会让大盘数据突然下跌，排查

幸存者偏差& AB实验样本比例不匹配

AB实验分流样本量不够怎么办？

A/B实验的公平铁律：同质性与同时性

做时间的朋友：AB实验长期对照组

当老板质疑你的大改版搞砸了长期数据时，你该如何自证清白？Facebook和国内一家公司的对比，揭示了一个关键答案。 如何确定实验时长？ 实验时长建议满足三个条件： 大于理论实验时间（可用 Evan Miller 工具计算） 跨客户端发版周期（因为先升级的用户往往是积极用户，结果可能偏乐观） 跨完整一周（绝大多数产品都有

AB实验：最小样本量的科学估算

一个实验场景的实际渗透率，能将所需样本量放大数倍，这正是许多A/B测试结论波动巨大的隐藏原因。 最小样本量的科学估计，能让你在面对质疑时，自信地给出基于统计原理的精确数字，而非模糊的经验判断。 流量样本量的确定 实验结论被挑战的经典场景：老板问：“你的实验样本量置信吗？”你只能凭历史经验说：“我觉得 1000 个样本应

A/B实验的假设必须基于因果关系

在设计产品方案时，必须遵循一个关键原则：具备强目的性，并形成一个明确可量化、可归因的具体方案。 A/B 实验的分成了三个步骤 1、提出假设&方案设计 包括数据分析、竞品反推、决策&洞察、用户反馈 需求方案设计：强目的性、可量化、可归因 2、实验设计 分流方式：互斥/正交实验 流量样本量：满足置信度，结合

A/B test=加速迭代+量化提升+降低风险

如果没有A/B实验，一个能带来30%收入增长的功能和一个导致10%下滑的功能混在一起发布，你只能看到一个‘整体不错’的假象。 一个版本发布后数据持续下跌，团队花数周查Bug、开会，最终被迫回滚——这种开发噩梦，本可以通过A/B实验在发布前就彻底避免。 第一、加速迭代 让多组实验互不干扰地同时进行。早期没有 A/B 系统

A/B test：单一变量原则与典型案例

A/B测试，就是在争议和直觉之外，用数据和单一变量原则来接管你的主观判断。 A/B 测试的定义 翻看了很多国内外文献，想找一个比较精确的定义。但大家的定义基本就是举例子——“A/B 实验就是功能组的按钮是红的，对照组是绿的，比较两组数据表现”。既然找不到现成的，我就自己归纳一下： A/B Test是指：为了达成一个明确

A/B test的起源：双盲试验与520渊源

你知道互联网上无处不在的A/B测试，其源头竟始于一艘远洋船上对12名船员的食物实验吗？ 1747 年左右，大航海时代，船员们经常在大海上航行好几个月，非常容易得一种叫“坏血病”的疾病。坏血病非常恐怖，病人从一开始牙龈出血，逐渐发展到全身溃烂而死，死状惨不忍睹。 有一位名叫 詹姆斯·林德 的英国军医，想要解决这个问题。他