留存下降时，团队很容易陷入两种争论：产品认为功能不够，运营认为曝光不足，算法则希望再训练一个模型。但真正困难的不是提出更多方案，而是找到一条可信的线索：用户做了什么之后，更可能持续回来；如果推动更多用户完成这个行为，整体留存是否真的会提高？
挖掘留存线索可以分成两步。先用功能留存矩阵从业务中寻找机会，再用统计分析和实验判断，这个机会究竟是相关、可预测，还是具有因果作用。
先用功能留存矩阵发现异常
对产品中的主要功能，可以计算两个基础指标：
将功能渗透率放在纵轴、功能留存率放在横轴，便得到一个四象限矩阵。
高渗透、高留存的功能通常接近产品的核心价值。这里的重点不是继续增加曝光，而是保证稳定、降低故障和等待时间，避免商业化或改版破坏已经形成的用户习惯。
高渗透、低留存说明大量用户尝试过，却没有持续使用。问题可能在结果质量、操作成本或预期落差，也可能是功能本身属于低频需求。优化前要先确认：它究竟是体验差，还是天然不需要频繁使用。
低渗透、高留存往往最值得关注。使用者愿意回来，说明功能可能提供了持续价值；渗透率低，则可能是入口太深、命名难懂、缺少场景化推荐，或者只触达了少部分适配人群。这类功能是潜在的“第二增长点”。
低渗透、低留存通常要谨慎投入。它可能没有找到目标人群，也可能本身缺少价值。经过小范围验证仍无改善，就应考虑弱化甚至下架，而不是继续依靠曝光制造虚假的使用量。
矩阵里的分界线不宜机械使用全体均值。不同功能的天然频率差异很大：刷内容、查天气和修改头像不能使用同一标准。更合理的做法是按功能类型、目标人群和使用周期分组比较，并保证观察窗口一致。
举个例子：
功能留存矩阵第四象限的“免费WiFi”留存非常高，但渗透较低。改版将入口前置到首页用以拉升整体留存
利用数据科学的方法挖掘留存线索
功能留存矩阵适合从功能层面发现异常，但产品中真正影响留存的行为可能非常细：关注了几个人、是否收到好友回复、完成了几次搜索、首日有没有成功产出结果。指标一多，仅凭经验很难判断哪个才是关键线索，这时可以借助数据科学缩小范围。
整个过程可以概括为四步：圈定候选指标、清理冗余特征、寻找关键特征、验证因果效果。
第一步：把业务问题变成候选指标
先确定研究对象和时间窗。例如，研究“新用户次留”时，可以用用户注册后24小时内的行为预测第二天是否回来：
候选指标应来自对产品价值路径的理解。例如社交产品可以纳入关注人数、加好友数、收到回复数、内容消费量；工具产品可以纳入首次任务是否完成、产出次数和完成耗时。渠道、版本、设备、新老用户等背景变量也应保留，用于控制用户结构差异。
这里最重要的是守住时间边界：只能使用留存结果发生之前的数据。用第二天的行为预测第二天留存，模型看起来会非常准确，却没有任何分析价值，这就是典型的数据穿越。
第二步：对高度重合的指标去重
候选指标之间经常表达同一件事，例如“关注人数”和“关注按钮点击次数”，“浏览次数”和“浏览时长”。这些指标同时进入线性模型，会让系数变得不稳定：数据稍有变化，某个指标可能从正相关变成负相关。
VIF，即方差膨胀因子，可以衡量一个特征被其他特征线性解释的程度。对第 j 个特征：
R_j^2 越高，说明该特征与其他特征越重合，VIF也越大。实际处理时，不是看到VIF高就机械删除，而是结合业务含义保留更接近用户价值、定义更稳定、未来更容易干预的指标。VIF只处理线性共线性，不能消除渠道质量、用户意图等隐藏偏差。
第三步：用模型寻找关键特征
完成清洗后，可以训练逻辑回归、树模型等留存预测模型，并在独立验证集上检查效果。此时模型的任务不是直接给出产品决策，而是从大量行为中筛出更值得调查的线索。
案例：某社交产品挖掘留存线索，通过回归的方法找到关键特征。
图中“关注人数”的特征贡献度为25.12，明显高于“营销Push条数”和“加好友数”。它表达的是：在当前模型和这批样本中，关注人数对留存预测的贡献更大，因此值得优先研究。它不表示“关注人数每增加1%，留存就提高25.12%”，也不能直接证明增加关注会造成留存上升。
如果采用树模型，可以用SHAP解释单个特征如何推高或拉低预测结果，还能观察关系是否存在阈值。例如，关注0人到关注3人可能明显改善预测留存，关注30人到33人却几乎没有变化。这样的阈值比一份特征排行榜更能指导产品设计。
但SHAP解释的是模型如何做预测，不是现实世界中的因果关系。高贡献特征可能只是高意愿用户的表现：本来就喜欢产品的人更愿意关注别人，也更愿意第二天回来。
第四步：验证它是否真的能拉动留存
从“关注人数与留存相关”走到“应该引导用户关注”，还需要验证因果性。可以把候选行为转成可干预的产品方案，例如优化推荐对象、缩短关注路径，而不是强迫用户完成无意义的点击。
最可靠的方式通常是随机A/B实验：实验组获得新引导，对照组保持原体验，比较两组关键行为完成率和D1、D7等留存，同时监控退出率、误触、投诉等护栏指标。
ATE，即平均处理效应，可以写成：
Y(1) 表示用户接受策略时的留存结果，Y(0) 表示同一用户不接受策略时的结果。现实中无法同时观察同一个人的两种结果，所以随机实验通过构造统计上可比的两组用户来估计ATE。无法实验时，可以使用匹配、倾向得分或双重差分等方法，但必须说明其假设；普通回归系数或SHAP值不能直接当作ATE。
到这里，一条完整的证据链才真正形成：业务先定义可能的价值行为，VIF等方法减少冗余，模型与SHAP筛选预测线索，实验或因果推断验证实际增量。
数据科学的价值不是替产品经理找到一个“神奇指标”，而是把模糊的经验判断逐步变成可检验的假设。最终要优化的也不是特征贡献度，而是让更多用户更快获得真实、可重复的产品价值。