AI正在改变世界，已经从未来的可能性变为当前的现实。在新的十年开始之际，各行业内的顶级AI专家们重新审视了2019年AI领域的进展，并展望了2020年机器学习的发展趋势。本文汇集了来自PyTorch的创始人Soumith Chintala、加州大学伯克利分校的心理学家Celeste Kidd、谷歌AI负责人Jeff Dean、英伟达机器学习研究总监Anima Anandkumar和IBM研究总监Dario Gil的观点。

PyTorch的创始人Soumith Chintala

PyTorch是目前最受欢迎的机器学习框架之一。它源于2002年推出的Torch开源框架，并在2015年开始广泛应用。今年秋天，Facebook发布了带有量化和TPU支持的PyTorch 1.3版本，同时推出了深度学习可解释性工具Captum和移动版PyTorch。此外，PyRobot和PyTorch Hub等工具也被推出，以促进代码共享和可重复性。

Chintala认为，2019年并未见证机器学习的重大突破。他认为，自从Transformer模型以来，没有出现过革命性的进展。尽管如此，他肯定了DeepMind的AlphaGo在强化学习领域的重要贡献，但也指出其实现难度较大，难以应用于实际问题。

Chintala还认为，机器学习框架（如PyTorch和TensorFlow）的发展已经改变了研究人员的研究方式。未来几年，他期待PyTorch的JIT编译器和神经网络硬件加速器如Glow等技术得到广泛应用。

Chintala预测，2020年，AI社区将更加重视模型的功能而非单纯准确性，同时也会更加关注创建模型所需的资源以及AI如何更好地反映社会期望。

加州大学伯克利分校的心理学家Celeste Kidd

Celeste Kidd领导的团队研究了儿童的学习方式，这些研究有助于改进神经网络的设计。她指出，婴儿没有标记的数据集，但他们依然能够很好地学习。这表明我们需要更全面地理解婴儿的学习过程。

2019年，Kidd注意到越来越多的神经网络设计师低估了自己的工作，因为他们无法像婴儿那样学习。她强调，婴儿的行为并非总是完美的，但这种行为并不意味着他们不具备学习能力。

Kidd认为，2020年可能会是揭开神经网络神秘面纱的一年。她提到了MIT-IBM Watson AI Lab的Aude Oliva等人的工作，展示了神经网络并不是真正的“黑匣子”。

在NeurIPS会议上，Kidd发表了主题演讲，探讨了大脑如何形成固定信念、注意力系统和贝叶斯统计。她还指出，内容推荐系统的创建者可能会影响用户的信念和观点，这需要引起重视。

Kidd希望2020年能够提升人们对技术工具和技术决策对现实生活影响的认识。她强调，制造商不应逃避对技术使用后果的责任。

谷歌AI负责人Jeff Dean

Jeff Dean领导谷歌AI团队已有两年时间，他还是谷歌早期搜索和分布式网络算法的架构师。在NeurIPS会议上，Dean探讨了机器学习在半导体设计和应对气候变化方面的应用。

Dean预计，多模态学习将成为2020年的一个重要趋势。此外，基于Transformer的自然语言模型将继续发展，其中包括谷歌开源的BERT模型。相关模型如XLNet、MT-DNN和RoBERTa等也在2019年取得了显著进展。

Dean还提到，谷歌AI团队将致力于新的项目，如Everyday Robot，旨在开发能够在家庭和工作场所完成日常任务的机器人。

英伟达机器学习研究总监Anima Anandkumar

Anandkumar在加入英伟达之前曾在AWS担任首席科学家。她在英伟达的研究涵盖了从医疗保健到自动驾驶等多个领域。2019年，她的研究重点是强化学习的仿真框架。

英伟达在2019年推出了Drive自动驾驶平台和Isaac机器人模拟器，同时发布了StyleGAN和GauGAN等工具。Anandkumar认为，这些技术可以帮助解决机器人和自动驾驶的一些主要挑战。

她还期待在2020年看到迭代算法、自我监督和自主训练模型的进步。她强调，单一的前馈网络可能无法满足所有需求，多次迭代和根据数据类型调整迭代次数可以带来更好的效果。

Anandkumar指出，2020年将面临许多挑战，包括需要与领域专家合作创建特定行业的模型，确保数据集涵盖不同人群，以及处理数据隐私问题。

IBM研究总监Dario Gil

Gil领导的研究团队为白宫和全球企业提供咨询服务。他指出，2019年的重大进展包括生成模型的质量提升和高效的训练方法。

Gil预测，未来将出现更低精度的模型，以提高训练效率。IBM Research引入了具有8位精度的深度学习技术，以提高计算效率。

Gil认为，AI将有助于加速科学发现，但IBM Research将重点关注神经符号方法。他希望AI从业者和研究人员更加注重模型的实际应用价值，而不仅仅是准确性。

Gil强调，AI系统不应成为关键任务应用的“黑匣子”，而应具备更高的透明度和可信度。他呼吁社区共同努力，使AI系统更加透明和可信。

总结

机器学习正在不断塑造商业和社会。2019年，基于Transformer的自然语言模型取得了显著进展。2020年，研究人员和专家将继续探索基于BERT和Transformer模型的新变体，并关注以下趋势：

• 除了关注准确性，AI行业应寻找评估模型输入的新方法。
• 半监督学习、神经符号方法和多任务学习等子领域有望取得进展。
• 生物统计数据（如语音记录）的伦理挑战可能继续引发争议。
• 编译器和方法如量化可能会在PyTorch和TensorFlow等框架中流行，以优化模型性能。