机器学习能量模型:Facebook的AI主管LeCun所想象的AI将来
作者头像
  • 吴盛
  • 2019-11-18 13:19:28 2

Yann LeCun:AI未来的发展方向

深度学习领域的领军人物Yann LeCun认为,AI的下一步发展可能不再依赖传统的深度学习技术,而是转向掌握多种变化的能量模型。

LeCun是一位在脑海里就能勾画出理想构思的工程师和科学家。他曾在《机器学习时刻》(When the Machine Learning)一书中提到,“我主要依靠直觉工作”。这本书既是传记,也是一本科普书籍,同时记录了AI的历史。该书的法文版名为《Quand la machine apprend》,已于10月16日出版。

在书中,LeCun写道:“我在脑海中构想了爱因斯坦所说的‘思想实验’。”这种能够在常规思维之外想象不存在事物的能力,是工程师和创新者的标志。LeCun在AI领域独树一帜,不仅精通算法设计,还在计算机工程方面有所建树。

LeCun因对计算机科学的贡献而荣获ACM图灵奖。他最著名的成就是在20世纪90年代完善了卷积神经网络(CNN),并使其得以广泛应用。虽然不是CNN的发明者,但他使这项技术变得实用且可行,为机器学习革命奠定了基础。在过去十年中,LeCun与Geoffrey Hinton和Yoshua Bengio一起在机器学习领域取得了显著成就。

10月16日,在新泽西州普林斯顿高等研究院,LeCun在一次为期三天的深度学习研讨会上阐述了他的观点。这次活动由数学教授Sanjeev Arora组织,吸引了众多人工智能领域的专家,包括Nvidia的人工智能研究负责人Anima Anandkumar和LeCun的同事——Facebook学者Leon Bottou。

LeCun的演讲围绕如何超越传统深度学习的监督训练模式展开。他认为,仅通过监督或多任务学习无法让机器具备人类的智能,需要采取其他方法。

LeCun提出,无监督学习是一种可行的方法。为了实现无监督学习,整个领域需要更多地研究机器学习的能量模型。能量函数在AI领域已有数十年历史,最早由生物学家John Hopfield在20世纪80年代推广,当时被称为“霍普菲尔德网络”。这种方法在当时被视为机器学习的一大突破,催生了其他优化能量场概念的学习算法,如Hinton追求的“玻尔兹曼机”。

此外,LeCun还反思了卷积网络的持久吸引力。

“关于机器学习能量模型的想法已经有一段时间了,” LeCun说,“最近由于我需要减少监督学习算法的使用,所以又重新关注这一点。”

机器学习模型容易学习特定案例,但关键在于不要创建大量带标签的数据集(如猫和狗的图片),也不用花费大量时间玩游戏(如DeepMind的AlphaZero)。相反,只需获取大量原始数据(如YouTube视频片段),然后提供给计算机。

LeCun表示:“我们可以让机器变得非常庞大,让它整天观看YouTube或Facebook上的直播。”

机器可以被训练来预测每帧视频之后会发生什么。预测与现实之间的兼容性即所谓的能量水平。能量越低,说明越准确,因此神经网络试图达到一个低能量状态。

LeCun在舞台上充满活力,尤其对主题的细微差别很有兴趣。他展示了自己不确定的一面,直视观众,前后挥动手臂,说道:“你现在正在看我,你在拍我的视频,背景没有变化,相机也没有移动。”

“唯一发生的事情是我可以朝一个方向或另一个方向移动我的头,以不同的方式移动我的肌肉。在这次演讲中,我头部的所有图像都处于一个低维度流形,受到头部肌肉数量的限制。”

LeCun的观点在机器学习方面相当激进。他认为应该抛弃概率预测框架,因为它“是错误的,也是没用的”。典型的神经网络必须具有“有限权值”。

显然,LeCun的设想还需要进一步完善,但他尝试将其表达出来。LeCun稍后将前往巴黎,与记者讨论这本书。本周,他登上了法国时尚杂志《新观察家》的封面,讨论AI的前景和风险。几十年来,LeCun和其他人一直在关注这一领域,但直到现在才真正发挥作用。如今,AI似乎已经变得足够强大,如果需要有人来监督它,那正是LeCun。

    本文来源:图灵汇
责任编辑: : 吴盛
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
能量Facebook模型将来想象主管机器学习LeCun
    下一篇