← 返回 QuantGrowth 首页

7-从留存预测到增量留存：长期价值模型如何进阶

增长
增长主启留存

基础留存模型可以将用户路径拆成“曝光—点击—再次访问”，但真实系统很快会遇到三个问题：点击后的留存样本太少，长期结果反馈太慢，而且高留存用户可能本来就会回来。

因此，留存算法的进阶路线不是简单换一个更深的网络，而是逐步改变学习空间、监督信号和优化目标：从点击样本走向全体曝光，从最终留存走向中间价值行为，再从预测留存走向增量留存。

ESMM：在全体曝光空间学习

传统做法只拿已经点击的用户训练点击后留存率，上线时却要给所有曝光用户打分。这会产生样本选择偏差和数据稀疏两个问题。

阿里提出的ESMM（Entire Space Multi-Task Model）提供了一种经典思路。它最初用于“曝光—点击—购买”，但可以类比迁移到点击后留存。模型在全体曝光样本上同时学习：

pCTR=P(C=1\mid X)
pCTCRR=P(C=1,R=1\mid X)

并利用概率链式关系：

pCTCRR=pCTR\times pCRR

点击任务拥有更密集的标签，可以为稀疏的留存任务提供共享表征；联合目标又让所有曝光样本参与训练，从而缓解只在点击样本中学习的问题。

ESMM也不能机械套用。只有当点击确实是进入该服务、获得价值的必要路径时，上述链式关系才与业务过程一致。如果用户还能通过搜索、Push或其他入口完成同一任务，就需要补充路径或重新定义样本空间。

后续的ESMC研究进一步指出，复杂行为链中使用条件概率相乘可能出现概率空间混淆。模型结构必须服从真实事件关系，而不是看到“曝光—点击—行为”就不断连乘。

用中间价值行为缓解长期标签稀疏

D1、D7和D30留存具有稀疏、延迟和归因困难等特点。直接把长期留存当作唯一监督信号，不仅训练反馈慢，也很难定位一次推荐在哪个环节失效。

ESM²将点击后的购买过程继续拆成中间行为。对应到留存场景，可以把链路扩展为：

曝光\rightarrow点击\rightarrow价值行为\rightarrow再次访问

不同产品的价值行为并不相同：内容产品可能是有效阅读、关注或收藏；社交产品可能是建立关系并收到回复；工具产品可能是首次成功完成任务；交易产品可能是收藏、加购、下单或履约。

模型可以同时学习点击率、价值行为完成率和后续留存，让更及时、更密集的中间标签辅助长期任务。

但中间行为不能只因为“容易统计”就成为优化目标。Pinterest的留存研究选择“保存内容后再次访问”，是因为保存和重访之间存在清晰的产品机制。如果只把浏览时长、点击次数等高频行为当作留存代理，模型可能学会制造更多操作，却没有创造更多价值。

一个合格的代理指标至少应满足三个条件：出现得比长期留存早；与长期结果在不同时间、人群和版本中保持稳定关系；通过实验提高它时，长期留存也随之改善。Google关于长期用户体验代理目标的研究，核心也是先验证短期行为与长期结果之间的可信联系，再将短期信号用于高频优化。

预测“会留下”，不等于找到“被留下”的人

普通留存模型回答的是：

P(R=1\mid 推荐服务i,X=x)

它很容易优先识别本来就高活跃的用户。真正用于流量调度时，更有价值的问题是：与默认策略相比，推荐服务 ​i 额外带来了多少留存？

Uplift_i(x)=P(R=1\mid do(i),x)-P(R=1\mid do(i_0),x)

​i_0 可以是不推荐或当前默认策略。这个差值区分了三类用户：不用干预也会回来的人、怎样都不会回来的人，以及真正可能因推荐而改变的人。有限的推荐流量应该更多投入第三类用户。

反事实无法从同一个用户身上同时观察，因此系统需要保留随机探索流量：将部分用户随机分配到不同服务或空白对照，再使用双模型、Meta-learner、因果森林等方法估计异质性处理效应。

没有随机数据时，可以使用匹配、倾向得分或双重机器学习等观察性方法，但它们依赖“关键混杂变量已经被记录”等较强假设。模型再复杂，也无法从严重偏置的数据中自动恢复真实因果关系。

从单次留存走向长期序列决策

今天推荐什么，不只影响今天的点击，还会改变用户明天的兴趣、疲劳度和可推荐空间。连续推荐低价刺激可能提高短期行为，却让用户逐渐把产品理解成促销工具；适度展示多样内容可能牺牲眼前CTR，却帮助用户发现新的长期价值。

《Returning Is Believing》将点击和再次返回一起纳入长期参与度优化，处理的正是这种跨会话影响。进一步可以使用强化学习，将用户状态、推荐动作和未来奖励建成序列决策问题。

但强化学习并不是留存建模的默认答案。它要求更可靠的长期奖励、更安全的探索机制和可信的离线评估。多数团队更适合先做好多任务预测，利用中间价值行为增加监督信号，长期保留随机对照流量，在策略和数据成熟后再考虑序列优化。

留存模型的真正进步，不是网络层数越来越多，而是越来越接近三个真实问题：用户为什么回来，这次推荐贡献了什么，以及如果换一种推荐，结果会发生怎样的变化。

参考文献

  1. Entire Space Multi-Task Model：ESMM——全空间多任务学习的经典论文。
  2. Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition：ESM²——利用点击后的中间行为增加监督信号。
  3. ESMC：Entire Space Multi-Task Model via Parameter Constraint——讨论全空间模型中的概率空间混淆。
  4. Interpretable User Retention Modeling in Recommendation——推荐系统中的可解释留存建模。
  5. Returning Is Believing：Optimizing Long-term User Engagement——联合优化点击、再次访问和长期参与度。
  6. Surrogate for Long-Term User Experience in Recommender Systems——Google关于长期目标代理信号的研究。
  7. Save, Revisit, Retain——Pinterest利用保存与重访行为优化留存的框架。
  8. Why You Should Stop Predicting Customer Churn and Start Using Uplift Models——响应预测与增量建模的区别。
  9. Microsoft EconML——DML、因果森林和异质性处理效应的实现文档。