你是否也曾像二战时的军方一样，只盯着返航飞机上的弹孔，而忽略了那些坠毁的、更关键的线索？这正揭示了我们分析数据时一个致命的盲点。
幸存者偏差的故事
第二次世界大战期间，哥伦比亚大学的统计学家亚伯拉罕·瓦尔德提出了一个极具反直觉的解决方案。军方委托他确定应在飞机的哪些部位加装装甲，以提高飞机完成任务并幸存的概率。军方研究团队与亚伯拉罕的统计团队均对从战场返航的飞机受损部位展开分析，尤其关注弹孔出现的位置。军方建议在飞机中弹最多的部位加装装甲，而亚伯拉罕却持反对意见，他主张加固飞机受损最轻的部位。尽管这一建议乍听令人困惑，但事实证明他是正确的。返航飞机上的弹孔，远不如坠毁飞机上的弹孔关键。换言之，只有将从未返航的飞机纳入分析范围，所得结果才具备可信度。
幸存者偏差
正如亚伯拉罕·瓦尔德若不考虑那些未返航的飞机，就无法对飞机的存活率进行完整分析一样，A/B 测试人员也需要留意实验中缺失的用户。A/B 测试常常会遇到亚伯拉罕在其分析中发现的同一个问题——幸存者偏差。这种偏差表现为，在变体 A 和 B 中统计到的用户比例，与实验开始前设定的比例（例如 50/50 的分配比例）之间存在统计学上的显著差异。
SRM 全称Sample Ratio Mismatch（样本比例不匹配）：AB 实验中，实际分配到各版本的用户占比，与实验预设的分流比例（如 50:50、3:7）出现统计学显著偏差，是实验数据失真最核心的预警指标。
简单举例：配置 50% 对照组、50% 实验组，但统计发现对照组 42%、实验组 58%，卡方检验 p 值远低于 0.05 阈值，即判定 SRM 异常。
样本比例不匹配
样本比例不匹配如何影响A/B测试？
MSN 的一个团队曾对其图片轮播组件做过一项改动测试。他们预计，当轮播卡片数量从 12 个（版本 A）增加到 16 个（版本 B）时，用户参与度会有所提升。这项 A/B 测试具备足够的统计效力，能够检测出非常微小的变化，且用户互动数据均已正确记录和收集。尽管相关结论是基于以往同类 A/B 测试得出的，但测试结果显示，用户参与度出现了下降！
当轮播卡片数量从 12 个增加到 16 个
随后检查明细数据发现：版本 A 和版本 B 中的用户数量与配置比例存在统计学差异。该 A/B 测试未通过 SRM 检验，随后被进一步审查。
深入调查后发现了一个有趣的情况。版本 B 不仅让用户参与度更高——接触到版本 B 的用户参与度非常高，甚至被机器人检测算法误判为非法流量，导致这些用户被从分析数据中剔除。
SRM 核心危害
- 实验结论完全失效：样本比例失衡会扭曲转化率、留存、营收等所有核心指标，放大 / 掩盖真实策略效果，直接导致产品错误决策；无法事后修复：流量分配偏差属于系统性前置问题，不能通过后期数据清洗、加权修正消除偏差；放大隐性数据漏洞：SRM 是数据链路、分流逻辑、客户端、人工干预等几十类问题的 “综合症状”，出现 SRM 代表整条实验链路存在底层缺陷。
五大SRM成因与解决办法
1. 实验分配（最高发，分流底层逻辑问题）
故障：桶号上报错误、分流不均、用户 ID 切换、历史实验遗留效应、实验未互斥、并行实验互相干扰
解决：全链路统一哈希算法；搭建设备 / 账号 ID 映射；设置实验冷却隔离期；平台强制校验实验互斥。
2. 实验执行（客户端 & 策略下发异常）
故障：版本启动时间不一致、旧缓存残留、弱网日志丢报、策略卡顿流失、代码执行顺序错误 解决：统一放量时间，版本更新自动清缓存；日志本地缓存重试上报；强制代码「先分配分组、再过滤用户」；上线前做性能压测。
3. 日志处理（数据加工链路出错）
故障：异常用户过滤口径不统一、分流与统计 ID 不一致、关联 JOIN 逻辑错误、日志丢失、策略下发延迟
解决：全链路统一过滤规则与唯一用户主键；固定数据关联条件；日志双链路备份，每日校验数据完整度。
4. 实验分析（人为改动统计口径）
故障：分析师私自修改报表筛选条件、时间窗口，统计样本与原始分配记录脱节
解决：实验 SQL 修改走审批；所有报表强制关联原始分配表，禁止随意删减样本。
5. 实验干扰（外部人为 / 恶意流量影响）
故障：运营定向倾斜流量、中途关停某版本、内部白名单测试、爬虫机器刷量攻击
解决：实验周期暂停定向投放；白名单用户单独隔离不计入样本；实时过滤异常 IP / 设备；中途改动版本需分段统计数据。