旷视科技披露自动化机器学习杀手锏 单途径One-Shot模型灵敏高效
作者头像
  • 吴一起
  • 2019-12-20 06:18:48 0

随着人工智能概念的普及,科技公司在人工智能方面的要求不断提高,成本、精确度和效率成为了影响人工智能能否实际应用的关键因素。人工智能的快速发展也推动了对机器学习方法的需求,特别是自动化机器学习方法(AutoML)的兴起。

最近,旷视科技首次公布了其在AutoML领域的研究成果。他们通过构建一个简化的超网络来解决训练过程中遇到的一些主要挑战。在ImageNet上的实验结果显示,旷视科技的技术超越了谷歌和Facebook等公司的AutoML技术。与市面上其他AutoML技术相比,旷视科技的AutoML技术具有以下显著优势:

  1. 低计算成本:传统AutoML技术通常需要多次训练模型,导致计算成本高昂。旷视科技采用一次性训练的方法,只需一次训练就能获得整个模型空间的描述,这大大降低了计算成本,仅相当于当前训练成本的1至3倍。

  2. 广泛适用性:旷视科技的AutoML技术提供了一套完整的解决方案,适用于多种业务场景,如活体检测、人脸识别、物体检测和语义分割等。

  3. 便捷部署:旷视科技的AutoML技术涵盖了从数据处理到模型训练、压缩和量化的全流程,能够自动处理从数据到应用的整个过程。

  4. 高精度:旷视科技的AutoML技术在多个视觉任务上表现优异,甚至超过了人工设计的模型,达到了行业领先水平。

近期,旷视科技首席科学家孙剑及其团队首次展示了神经结构搜索(Neural Architecture Search, NAS)这一AutoML重要子领域的最新成果——单路径One-Shot模型。该模型定义了一个超网络,并采用了类似于权重复用的方法。模型搜索过程与超网络训练解耦,且步骤独立。One-Shot模型结合了嵌套式和联合式优化方法的优势,因此既灵活又高效。

One-Shot模型成功的关键在于,通过复用权重的模型精度可以预测新模型的精度。因此,旷视研究院提出,超网络训练应该是随机的,这样所有子结构的权重可以被同时且均匀地优化。

为了减少超网络权重之间的耦合,旷视研究院提出了单路径超网络的概念,在每次迭代训练中,只有单个路径结构会被激活。训练过程中不需要任何超参数来指导子结构的选择,而是采用平均采样方法,公平对待所有子结构。

    本文来源:图灵汇
责任编辑: : 吴一起
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
杀手锏灵敏披露模型途径高效自动化机器学习科技
    下一篇