跻身世界顶级AI项目:腾讯机器学习平台Angel从LF AI基金会毕业
作者头像
  • 2019-12-23 13:53:57 8

12月20日,LF AI基金会宣布,腾讯的开源项目Angel正式从该基金会毕业。这是中国首个从LF AI基金会毕业的开源项目,标志着Angel已经获得了全球技术专家的认可,成为了顶尖的AI开源项目之一。

Angel是腾讯的第一个AI开源项目,自2016年底推出以来,一直致力于处理大规模稀疏数据和复杂模型的训练问题。2018年,腾讯成为LF AI基金会的创始白金会员之一,并向基金会贡献了Angel项目。腾讯云副总裁、腾讯数据平台部总经理蒋杰表示:“通过开源,我们希望与开发者共同建设开源生态,共享成果。在基金会的支持下,Angel从单一的模型训练平台发展成为全栈机器学习平台,这与腾讯未来的发展方向高度一致。毕业只是Angel的新起点,未来我们将进一步开放其在图计算和联邦学习领域的核心能力。”

LF AI基金会董事、腾讯AI专家肖涵指出,基金会对开源项目的毕业流程有着严格的规定,从技术含量、开源生态、社区互动等多个维度评估项目的成熟度。能够从LF AI毕业,表明项目已经达到了顶尖水平。在孵化期间,Angel迅速发展,并在2021年从2.0版本升级到了3.0版本。从单纯的模型训练系统演变为包含自动特征工程、模型服务等功能的全栈机器学习平台。

相比TensorFlow、PyTorch和Spark等同类平台,Angel具有独特的优势。Angel基于Parameter Server(PS)理念开发,具有灵活的PS Function(PSF),可以将部分计算下推到PS端。其高效的PS架构使其能够处理万亿级别的模型。此外,Angel拥有专为处理高维稀疏特征而优化的数学库,性能远超其他库。Angel在推荐模型和图网络模型领域表现尤为出色。3.0版本引入了PyTorch On Angel,试图将PyTorch和Angel的优势结合起来。

在架构上,Angel自研的高性能数学库为其核心功能奠定了基础。Angel PS提供了高效、稳定且灵活的参数存储和交换服务。在3.0版本中,Angel PS进行了扩展,可以存储任意类型的对象,例如在图算法实现中,可以用来存储复杂的对象。

MLcore是Angel自研的一套算法内核,支持自动求导,并可以通过JSON配置文件定义和运行算法。在3.0版本中,Angel集成了PyTorch作为计算引擎。计算引擎之上是计算框架,目前支持三种框架:原生Angel、Spark On Angel(SONA)和PyTorch On Angel(PyTONA),这些框架使Spark和PyTorch用户可以无缝切换到Angel平台。最底层是两个公共组件:AutoML和模型服务。

Angel的特征工程模块基于Spark开发,增强了Spark的特征选择功能,并实现了自动特征生成。为了使系统更加智能化,Angel 3.0新增了超参数调优功能。在模型服务方面,Angel 3.0提供了一个跨平台的组件Angel Serving,不仅可以满足自身需求,还可以为其他平台提供模型服务。在生态方面,Angel尝试将参数服务器(PS)能力分享给其他计算平台,目前已完成了Spark On Angel和PyTorch On Angel两个平台的建设。

在3.0版本中,Angel重点研发了图机器学习功能,包括图表示和图神经网络学习模型,并提供了预处理、图挖掘等端到端的数据处理能力。Angel在图算法性能上表现优异,例如在十亿节点、千亿边规模的图结构中,Angel可以在三分之一的计算资源下达到十倍的处理性能。

除了技术性能的提升,Angel在社区生态上也日趋成熟。据不完全统计,已有超过100家公司在使用Angel,其中包括微博、华为、微众银行、小米、滴滴等知名企业。基于Angel构建的一站式机器学习应用平台智能钛TI,支持了包括微信支付、腾讯广告、微视在内的众多腾讯内部产品,并通过腾讯云对外提供服务。截至2019年11月,Angel在GitHub上获得了5500个Star和1400个Fork,其技术、应用和生态表现均得到了开源社区的认可。

此外,腾讯还开源了多个项目,并加入了多个开源基金会,成为最高级别会员。LF AI基金会旨在倡导和组织AI开源平台和工具的共同建设,创建可持续发展的开源AI生态系统。

    本文来源:图灵汇
责任编辑: :
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
腾讯跻身基金会顶级机器毕业项目学习世界Angel
    下一篇