在设计产品方案时，必须遵循一个关键原则：具备强目的性，并形成一个明确可量化、可归因的具体方案。
A/B 实验的分成了三个步骤
1、提出假设&方案设计
包括数据分析、竞品反推、决策&洞察、用户反馈
需求方案设计：强目的性、可量化、可归因
2、实验设计
分流方式：互斥/正交实验
流量样本量：满足置信度，结合场景渗透率
实验时长：满足置信度，结合业务周期
3、分析&发布
基础指标、结果指标、过程指标、负向指标
A/B test的步骤
提出假设的方法有很多：数据分析、竞品反推、老板决策、产品经理自己的洞察、用户反馈等等。设计产品方案的时候，要注意一定是有比较强的目的性，有一个明确可量化、可归因的方案。
北极星指标与目标拆解
提到目标，一般从整个业务的「北极星指标」拆解。北极星指标就是本阶段最重要的指标，一般只设一个（业务范围特别广的话也可以设两个），它有三个特点：
目标的确定与拆解
快速反应：可以快速看到数据的变化。比如看当天收入是 OK 的，但非要看 30 天的 LTV，时间就太久了，反应不够快速。
不容易被刷：举一个反面例子——有一个部门定的 KPI 是操作成功率（分子是操作成功、分母是用户进行操作），他们通过提升用户进行操作的门槛（降分母）把比值高额完成。这样做对用户、对业务都没有好处。
便于拆解：才能方便各个业务部门对齐目标、协同工作。
目标拆解一般按三级来分：战略层定北极星指标，可能由 BU 或小组承接；策略层由具体的产品经理在战术层面做优化；而战术层面提出的假设，往往就是通过 A/B 实验去验证。
提升开屏广告收入
合理的假设必须基于因果关系
举一个真实案例：我们的目标是提升广告收入，其中开屏广告的收入占比比较大。收入 = 价格 × 曝光量，而价格相关的因素有点击率、转化率、出价率等，与点击率有关的可能是展示时长、点击区域、是否视频形式等。
基于这些可能的因果关系，我们测试了「增加开屏广告曝光时长」的实验，来验证是否可以通过增加曝光时长 → 提升点击率 → 提升广告价格 → 最终达到提升收入的效果。因为严格按照因果关系推导下来，所以这是一个合理的假设。
核心认识：A/B 实验就是为了验证因果关系。
哪个case有因果关系？
因果关系 vs 相关关系
来看两个例子，它们从数据统计维度来说都真实存在：第一个，下雨天人们打伞；第二个，雷雨天冰镇啤酒销量变好。那么这两个 Case 是不是都有因果关系呢？显然不是。
第一个 Case（因果关系）：下雨是因，人们怕淋雨选择了打伞是果——这确实有因果关系。
第二个 Case（相关关系）：雷雨季节啤酒销量变高，原因是雷雨季节发生在夏天，而夏天人们喜欢喝冰镇啤酒。所以雷雨季节和冰镇啤酒有共同的「因」——夏天，它们之间不是因果关系，而是相关关系。
总结一下：
因果性是 A 的因推导出 B 的果（比如下雨天 → 打伞的人变多）；相关性是存在其他变量同时作用于 A 和 B（比如夏天 → 既多下雨、又卖啤酒）。A/B 实验就是用来定量研究「假设」和「目标」之间的因果关系。