MIT新方法!减轻训练一款自然言语处理AI模型“宏大的动力糜费”
作者头像
  • 金融亮点
  • 2020-06-08 16:27:20 5

全文共约1641字,预计阅读时间6分钟

AI热潮已经持续了一段时间,但有一个问题往往被忽视:运行AI的成本非常高。为了大规模训练和运行AI,需要将大量的计算机服务器集中到服务器农场中,消耗大量电力,这通常会导致大量的二氧化碳排放。

2019年6月,麻省大学阿默斯特分校的研究人员发现,训练一个自然语言处理AI模型会释放超过62.6万磅的二氧化碳,这相当于一辆普通汽车在其整个使用寿命内排放的二氧化碳的五倍。

最近,一篇新论文提出了一种方法,可以显著减少这种二氧化碳排放。麻省理工学院的研究人员在四月份发表的论文中介绍了一种新的训练神经网络的方法,这种方法在调试过程中释放的二氧化碳仅为目前常用方法的1/1300。神经网络是一种模拟人脑功能的算法,用于处理自然语言和其他类型的数据。

麻省理工学院电气工程与计算机科学助理教授韩松博士表示:“现代深度神经网络在使用过程中的碳排放量令人震惊。”

碳排放量高的原因之一是几乎所有现代设备都使用计算机芯片,但这些芯片在性能和使用情况上各不相同。为了使算法能够在这些设备上运行,软件制造商需要为同一算法创建多个版本,以适应每种设备的独特需求。反复在不同设备上调试同一算法会消耗大量电力,浪费能源并增加碳排放。

MIT团队提出的方法像一把多功能瑞士军刀,其算法可以在各种硬件上运行,无论是冰箱还是智能手机。在一项测试中,研究者在不同手机以及GPU、CPU和专用服务器等不同类型的处理器上运行相同的算法,得到了相似的结果。

在此之前,每台设备都需要定制的算法。这一新系统可以使训练AI释放的二氧化碳量从数十万磅降至数百磅。韩松教授认为,之前的算法是“巨大的能源浪费”。

他补充道:“训练一个神经网络执行机器翻译不仅会产生大量的碳排放,还需要花费100万到300万美元。无论是经济还是环境成本都很高昂,而且不可持续。”

MIT推出的“渐进式神经网络”引起了其他计算机科学家的关注。2月份,这种神经网络算法在低功耗图像识别挑战赛中,在目标识别和图像分类两个领域获得第一名。该挑战赛由电气和电子工程师协会资助,旨在推动高效节能AI技术的发展。

杜克大学电气与计算机工程副教授、此次挑战赛的组织者陈亦然博士表示:“这是一个非常有趣的想法。只需要调试一次(神经网络),就可以在不同的设备上使用。这无疑可以节省大量的时间和能源。”

MIT研究团队下一步的目标是进一步提升新系统的功能,使其能在移动设备上快速运行,同时扩大其适用范围,以便用于训练微控制器和微处理器。

AI技术确实有可能帮助人类应对气候变化。在2019年发表的一篇论文中,一个国际研究团队提出13种利用AI帮助人类适应气候变化并减轻负面影响的方法。例如,研究人员声称AI可以帮助预测可再生能源的供需关系,规划大规模碳封存项目。

然而,阿默斯特的研究表明,AI可能会通过增加人类的碳足迹,从而加速气候变化。随着全球数据量的不断增加,对更高效节能方法的需求也在不断增长,因为某些类型的AI可以对所有数据进行结构化和分类。

国际数据公司2018年发布的一份白皮书估计,到2025年,全球数据量将达到175ZB,相当于可观测宇宙中恒星数量的175倍。这些数据都需要处理,而这必然需要消耗大量能源。

庞大的数据量意味着需要进行大量的调试工作,这将消耗大量的资源。因此,从AI的角度研究环境可持续性问题,具有重要意义。

欢迎留言、点赞和关注,我们一起分享AI学习与发展的知识。如需转载,请联系后台并遵守转载规范。

    本文来源:图灵汇
责任编辑: : 金融亮点
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
糜费宏大减轻模型言语训练自然动力处理方法
    下一篇