短视频推荐系统优化策略

引言

短视频曾一度成为信息行业的重要风口，成为推动用户规模增长的主要因素之一。短视频具备信息密度高、用户粘性强、内容丰富的优点，但也存在视频帧难以分析和提取的挑战。如何提高短视频的分发效率和推荐精度，实现个性化推荐，已成为推荐系统的关键任务。

推荐系统的业务和架构

1. 短视频业务背景与系统架构

短视频已经成为信息流行业的重要组成部分，成为推动用户规模增长的主要驱动力。短视频播放时间已经超过了图文内容，极大地增强了信息流的用户粘性。算法的不断优化也提高了短视频流量的分发效率和精确度。

推荐系统主要分为三个部分：召回模块、初步筛选模型和精细筛选模型。从召回阶段到初步筛选再到精细筛选，推荐的准确度逐步提高，推荐项目的数量逐渐减少。

2. 技术演进

在视频推荐领域，我们经历了多种推荐方案的发展过程。最初使用逻辑回归（LR），但其在特征工程方面需要大量人力。随后，我们尝试了GBDT和FM模型，但在泛化能力方面表现较弱。最终，我们采用了Wide & Deep模型，该模型在推荐系统中表现出色。在此基础上，我们进一步优化了损失函数，以实现多目标优化。这种优化不仅提高了推荐系统的效率，还带来了显著的线上收益。

3. 多目标优化

传统的多目标模型通常共享隐层，但这种方法存在一些问题，例如优化目标不一致、样本不平衡等。为了克服这些问题，我们采用了基于正样本加权的多目标模型。这种模型不仅能够更好地关注正样本的排名，还方便融合多种信息。最终，这种优化策略在实际应用中取得了很好的效果。

基于Graph Embedding的多目标优化

1. WnD模型的logit优化

WnD模型由LR侧和DNN侧组成。LR侧使用FTRL优化器，速度快且适合大规模用户场景。然而，DNN侧在训练样本时可能难以多次迭代。为此，我们尝试在DNN侧引入logit，以提高系统准确度。具体操作中，我们对DNN侧的logit进行了加权处理。这种优化方法对不同类型的样本产生了不同的影响，从而有针对性地改善了错误样本的识别能力。

2. 基于时长加权的多目标优化

在模型训练过程中，我们发现点击时长这一因素并未被充分利用。为此，我们引入了用户观看时长的概念，以提升推荐效果。通过计算权重，我们对WnD损失函数进行了重新加权。这种策略使得观看时长较长的视频获得更高的评分，从而增加了用户观看时长的收益。

3. 基于Graph Embedding的多目标优化

Graph Embedding是一种基于图结构的嵌入方法，能够更好地捕捉节点间的相关性。我们利用Graph Embedding来优化多目标推荐模型。具体步骤包括：根据用户历史行为生成点击序列，构建无向图，随机游走生成句子，再通过CBOW策略进行训练。最后，通过加入位置、时长、连续性等信息，对损失函数进行重新加权。

基于WnD的Boosting算法

1. 模型

WnD模型本质上是一个二分类模型，容易产生样本误分。我们采用Boosting算法，综合五个WnD模型，实现多决策超平面的二分类。通过实时流训练，每次训练都是一个Batch，最终生成一个强分类器。

2. 算法

我们采用AUC加权误差项计算方式，并在样本权重更新时只对正样本进行更新。这种方法不仅提高了模型的精度，还降低了计算复杂度。

3. 实际应用

在短视频推荐中，这种优化策略显著提升了推荐的精准度。

未来规划

未来的规划包括： - 从point-wise推荐模型转向一次推荐一刷结果的方案。 - 建立新用户留存模型，以吸引更多新用户。 - 平衡男性和女性用户的推荐策略，吸引更多的女性用户。

这就是我们对未来发展的展望，感谢您的关注。