一家社交产品发现流失用户持续增加。团队最初面对的并不是“该用XGBoost还是LightGBM”，而是三个更基础的问题：怎样才算流失，哪些人正在接近流失，以及产品究竟能改变什么。
最终，他们把项目拆成一条完整链路：
定义流失 → 建立预警模型 → 找到可干预线索 → 设计策略 → 随机实验 → 评估增量留存
这条链路的价值在于，模型不再只是输出一个风险分数，而是推动产品找到问题、实施干预并验证结果。
一、先定义问题：为什么是连续7天未活跃
团队先统计用户最后一次活跃后的自然回流曲线，发现约90.12%的回流发生在7天以内；第7天之后，新增回流已经明显放缓。因此把流失用户定义为：
用户当日有活跃行为，此后连续7天没有再次活跃。
这个定义不是行业标准答案，而是由产品自身的使用频率决定。社交、资讯等高频产品可以使用7天；旅游、缴费等低频业务若照搬这一周期，会把大量正常用户误判为流失。
建模时还要把时间切成两段：观察窗口用于提取活跃、关系链、Push和付费等特征；表现窗口用于判断用户之后是否连续7天未活跃。所有特征都必须产生在预测时点之前，否则就会把未来信息泄漏给模型，得到一个离线表现很好、上线却无法使用的结果。
数据集也应按时间切分，而不是单纯随机拆分。案例使用较早日期的数据训练，再预测下一周期的真实流失，更接近模型上线后的工作方式，也能检验用户行为变化后模型是否仍然有效。
二、建立预警：模型要回答“谁值得现在干预”
将特征分成两类：
-
静态特征：年龄、性别、职业、地区、机型等基础信息；
-
动态特征：关注和好友数量、会话行为、活跃时长、充值、不同广告位的曝光与点击、营销Push次数等近期行为。
随后比较XGBoost、LightGBM等二分类模型。模型输出的不是“用户一定会流失”，而是未来进入流失状态的概率。运营可以根据干预成本和人群容量设置阈值，将高风险用户送入策略系统。
-
离线评估不能只看准确率。流失用户通常少于非流失用户，如果模型把所有人都判断为不流失，准确率也可能看起来很高。更有意义的是查准率、查全率和F1：
案例模型上线前的查准率约为73.39%，查全率约为71.57%，F1约为72.47%。这意味着模型能够识别多数真实流失用户，同时仍有约四分之一的预警可能误报。因此，干预应优先选择成本低、负面影响小的策略，不能因为模型说“高风险”就给用户发放高额补贴。
三、从特征到策略：重要性只是线索，不是结论
特征贡献结果显示，关注人数、营销Push次数和好友数量与流失预测关系较强。其中，“营销Push条数”尤其值得关注：它是产品可以快速调整的变量，而且过多营销通知确实可能造成打扰。
但特征重要性只能说明模型依赖了这个变量，不能证明“多发Push导致流失”。也可能是即将流失的用户被运营系统反复触达，形成了反向因果。正确做法不是直接关闭Push，而是把模型结果转化为假设：
对预流失用户减少营销Push，是否能改善留存？
团队因此只调整营销类通知，订单、账号安全和好友互动等服务通知继续保留；同时设置频控和静默期，避免为了召回再制造新的打扰。模型在这里承担的是“缩小实验范围”的作用：把策略优先施加于流失风险高、同时对Push可干预的人群，而不是打扰全部用户。
四、用实验收口：验证的不是模型，而是干预
符合条件的预流失用户被随机分为两组：对照组维持原有Push策略，实验组减少营销Push。两组使用一致的入组时间和流失口径，比较后续留存。
实验结果显示，干预组次日留存提升约2个百分点这个结果说明减少营销Push产生了增量效果，但还不能就此宣布项目结束。团队仍要观察7日、30日留存，营销转化损失、通知关闭率和卸载率，并确认收益能否覆盖模型、工程和运营成本。若只提高次留却显著损害收入，这个策略仍需要重新权衡。
模型效果与干预效果也必须分开理解：Precision、Recall和F1衡量“能否识别风险”，A/B实验衡量“采取行动是否真的改变用户行为”。模型再准，没有可干预策略也无法创造价值；实验有效但模型圈人不准，又会把资源浪费在大量低风险用户身上。
这次实操真正可复用的，不是7天周期、某个算法或“少发Push”这条答案，而是一种工作方法：用业务数据定义流失，用模型提高找人的效率，用特征解释提出假设，再用随机实验建立因果证据。流失召回只有形成这套闭环，才会从一次运营活动变成可持续迭代的产品能力。