漏斗分析:流失到底发生在哪一步
前面几章讲的是"指标出问题了怎么办":监控负责发现异常(Prophet、ARIMA、3-sigma),归因负责定位原因(Delta、基尼系数、剔除法、Adtributor)。但还有一类问题,指标本身没有异动,转化率一直就卡在那里——用户在路径的哪一步流失了、为什么流失、哪类用户流失得最狠。这就要用到
21 篇已发布内容
前面几章讲的是"指标出问题了怎么办":监控负责发现异常(Prophet、ARIMA、3-sigma),归因负责定位原因(Delta、基尼系数、剔除法、Adtributor)。但还有一类问题,指标本身没有异动,转化率一直就卡在那里——用户在路径的哪一步流失了、为什么流失、哪类用户流失得最狠。这就要用到
预测方法(Prophet、ARIMA)需要建模、训练、维护,监控体系里还需要一个更轻的兜底手段——不建模型,直接用统计规则判断"这个点正不正常"。3-sigma 法就是其中最古老、最简单、也最被广泛使用的一个:它几乎不需要任何算法基础设施,一条 SQL 就能落地,但正因如此,它的适用边界也最需要被理
前面八篇文章分别拆开了各个具体方法:Prophet、ARIMA、3-sigma、Delta 法、基尼系数、剔除法、Adtributor、漏斗分析。这一篇回到总纲——这些方法在同一个数据分析体系里各自站在什么位置,以及一个完整的"监控 → 归因 → 行动"闭环长什么样。 一、从四个日常问题说起 数据分
Adtributor:把根因归因做成自动化系统 前三篇的归因方法——Delta 法、基尼系数法、剔除法——本质上都依赖分析师手工拆解、逐层下钻。维度一多(渠道 × 地域 × 机型 × 版本),组合迅速爆炸,人工归因既慢又容易遗漏。微软研究院 2014 年在 NSDI 上发表的 Adtributor (Bhagwan e
DAU 跌了 50 万,Delta 法一算就知道哪个渠道贡献大。但如果是 留存率跌了 2 个百分点 呢?分母(昨日用户数)和分子(今日回访用户数)同时在动,每个渠道的量也在动——直接做差,会把"量变了"和"率变了"搅在一起,算出一笔糊涂账。除法指标的归因,必须先解决这个结构性难题
监控解决了"有没有异动",归因要回答"异动从哪来"。多维拆解告诉我们往哪个方向下钻,但下钻之后呢?五个渠道、七个地域、几十个机型,每个都在动——到底谁才是主凶?这就轮到 量化贡献 登场。 一、量化贡献与指标分类 什么是量化贡献? 通过量化各维度指标对整体指标波动的贡献,定位异动的
如果说 Prophet 是"把业务直觉装进模型"的工程派代表,ARIMA 就是统计派的百年经典。它不依赖节假日表,也不需要分析师录入先验,只相信一件事: 数据自己会说话 ——当前的值,可以被过去的值和过去的误差解释。这条朴素的假设撑起了半个多世纪的时间序列预测。 一、ARIMA 的前世今生:一个模型
指标体系搭好之后,"最近数据怎么样"就变成了每天都要回答的问题:下个月 DAU 能做到多少?今天这个下跌算不算异常?靠人肉盯报表既不现实也不可靠,业界通行的做法是 基于预测的监控 ——先让模型预测指标的合理波动范围,实际值一旦跌出这个范围就报警。而提到时间序列预测,几乎绕不开 Facebook 开源
当我们在A/B测试中发现B渠道在每一项细分收入上都占优,但总人均收入却落后时,这并非简单的数据错误,而是辛普森悖论正在悄无声息地扭曲我们的判断。 你是否也曾被一组看似确凿的汇总数据所误导?就像当年伯克利大学,因为女生报考热门专业的结构性差异,而被冤枉存在性别歧视。 一、辛普森悖论原版经典故事:伯克利招生“性别歧视”冤案
当实验结果看似正向时,应该优先检查负向指标——用户退订率是否升高、卸载率有无异动,这些常被遗漏的数据才是真正的‘警报器’。 实验结论的四类指标 输出实验结论时,需从四个维度进行综合分析: **基础指标:**活跃用户数、留存率、使用时长等大盘层面通用的核心指标,用于判断实验是否对产品基本面产生负面影响。 **过程指标:*
没必要当“Test everything! ”,A/B测试跨越多个应用或涉及复杂合作时,一个小小的能力折现设计偏差,就可能导致整个合作不欢而散。 并非所有改动都值得大动干戈进行A/B实验,有时保留一个功能开关,远比盲目测试一切更具性价比。 发布A/B实验阶段的配置参数,若在全量时悄然改变,可能会让大盘数据突然下跌,排查
“最近业务怎么样?”看似是数据问题,真正困难的是:这里的“业务”究竟指收入、活跃、留存,还是用户体验?没有统一的指标体系,同一份数据可能支持完全相反的结论。 指标体系的作用,是把业务目标翻译成一套有层级、有关系、可重复计算的数据语言。它既要告诉团队结果如何,也要帮助团队找到结果为什么变化,以及下一步应该行动在哪里。 一
当老板质疑你的大改版搞砸了长期数据时,你该如何自证清白?Facebook和国内一家公司的对比,揭示了一个关键答案。 如何确定实验时长? 实验时长建议满足三个条件: 大于理论实验时间(可用 Evan Miller 工具计算) 跨客户端发版周期(因为先升级的用户往往是积极用户,结果可能偏乐观) 跨完整一周(绝大多数产品都有
一个实验场景的实际渗透率,能将所需样本量放大数倍,这正是许多A/B测试结论波动巨大的隐藏原因。 最小样本量的科学估计,能让你在面对质疑时,自信地给出基于统计原理的精确数字,而非模糊的经验判断。 流量样本量的确定 实验结论被挑战的经典场景:老板问:“你的实验样本量置信吗?”你只能凭历史经验说:“我觉得 1000 个样本应
在设计产品方案时,必须遵循一个关键原则:具备强目的性,并形成一个明确可量化、可归因的具体方案。 A/B 实验的分成了三个步骤 1、提出假设&方案设计 包括数据分析、竞品反推、决策&洞察、用户反馈 需求方案设计:强目的性、可量化、可归因 2、实验设计 分流方式:互斥/正交实验 流量样本量:满足置信度,结合
如果没有A/B实验,一个能带来30%收入增长的功能和一个导致10%下滑的功能混在一起发布,你只能看到一个‘整体不错’的假象。 一个版本发布后数据持续下跌,团队花数周查Bug、开会,最终被迫回滚——这种开发噩梦,本可以通过A/B实验在发布前就彻底避免。 第一、加速迭代 让多组实验互不干扰地同时进行。早期没有 A/B 系统
A/B测试,就是在争议和直觉之外,用数据和单一变量原则来接管你的主观判断。 A/B 测试的定义 翻看了很多国内外文献,想找一个比较精确的定义。但大家的定义基本就是举例子——“A/B 实验就是功能组的按钮是红的,对照组是绿的,比较两组数据表现”。既然找不到现成的,我就自己归纳一下: A/B Test是指:为了达成一个明确
你知道互联网上无处不在的A/B测试,其源头竟始于一艘远洋船上对12名船员的食物实验吗? 1747 年左右,大航海时代,船员们经常在大海上航行好几个月,非常容易得一种叫“坏血病”的疾病。坏血病非常恐怖,病人从一开始牙龈出血,逐渐发展到全身溃烂而死,死状惨不忍睹。 有一位名叫 詹姆斯·林德 的英国军医,想要解决这个问题。他