YouTube视频引荐系统为什么那么强?看了这篇文章你就知道了
作者头像
  • 成敏慰杰
  • 2019-11-13 19:32:22 4

作为全球主流的视频平台,YouTube的成功很大程度上归功于其精准的视频推荐系统。这篇论文详细解释了YouTube推荐系统的核心亮点及其所解决的问题。荷兰的一位数据科学家对该论文进行了总结。

YouTube 推荐系统解决了哪些问题?

在YouTube上,每当用户观看视频时,页面上都会出现一系列推荐视频。这篇论文主要探讨了以下两个目标:

  1. 优化目标函数:YouTube并未明确设定单一的目标函数,而是将其分为“参与度”(例如点击次数、观看时间)和“满意度”(例如点赞数、不喜欢的数量)两大类。

  2. 减少选择偏见:用户通常更倾向于点击排在首位的推荐视频,尽管其他视频可能更具参与度或满意度。如何有效减少这种偏见成为亟待解决的问题。

如何解决这些问题?

论文介绍了一种结合宽度和深度模型的框架。宽度模型具备强大的记忆能力,而深度神经网络则擅长泛化。这种框架能够针对不同的目标生成预测,包括二分类任务(是否喜欢某个视频)和回归任务(为视频评分)。此外,研究者还提出了一些先进的技术来增强模型性能,但由于计算资源的限制,这些技术并未应用于实际生产环境。

为了更好地解决因视频位置带来的偏见问题,研究者在深度模型的深层部分采用了多任务学习模型MMoE。这一模型可以高效地在不同目标间共享权重。具体而言,共享的底层被拆分为多个专家层,每个专家层负责预测不同的目标。每个目标都有一个门函数(softmax函数),它决定了不同专家层的重要性。

结果如何?

论文结果表明,采用MMoE替代共享底部层能够显著提升模型在参与度(如观看推荐视频的时间)和满意度(如调查反馈)方面的表现。增加MMoE中的专家层数量和乘法数量可以进一步提升性能,但由于计算资源的限制,这些改进难以在实际部署中实现。

进一步的研究发现,通过“浅塔”模型降低选择偏见可以显著改善参与度指标。与单纯在MMoE模型中添加特征相比,这是一种更为有效的改进方法。

有趣之处

尽管Google拥有强大的计算资源,但在训练和成本方面仍然非常谨慎。通过使用宽度和深度模型,可以在网络设计时预定义一些关键特征。当需要多目标模型时,MMoE模型特别有效。即使拥有复杂且强大的模型结构,研究人员仍然需要手动调整最后一层的权重,以便根据不同的预测目标确定实际排名。

    本文来源:图灵汇
责任编辑: : 成敏慰杰
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
引荐那么YouTube为什么知道系统文章视频强?看
    下一篇