【新智元导读】2020年机器学习的发展趋势如何?新年伊始,VentureBeat采访了几位来自顶尖科技公司的专家,包括谷歌AI负责人Jeff Dean、PyTorch创始人Soumith Chintala等,一起来听听他们的观点。
人工智能正在深刻地改变世界。新年伊始,VentureBeat邀请了AI领域的权威人士,回顾了2019年的进展,并展望了2020年机器学习的发展方向。
受访者包括Google AI负责人Jeff Dean、PyTorch的创始人Soumith Chintala、加州大学教授Celeste Kidd、英伟达机器学习研究总监Anima Anandkumar和IBM研究总监Dario Gil。他们各自分享了对未来的预测。
自然语言模型的进步
基于Transformer的自然语言模型在2019年取得了显著进展,尤其是BERT及其变体。未来一年,我们可能会看到更多基于这些模型的创新应用。
半监督学习与神经符号方法
半监督学习和神经符号方法等子领域有望取得进展。同时,业界更加重视模型的评估和解释性,而非单纯追求准确率。
伦理挑战
与生物统计数据相关的伦理问题将继续受到关注,如面部识别技术引发的争议。
优化技术
编译器和优化技术,如PyTorch和TensorFlow中的量化功能,将更加普及,以提高模型性能。
PyTorch是目前最受欢迎的机器学习框架之一,近年来发展迅速。今年秋季,Facebook发布了支持量化和TPU的PyTorch 1.3版本,以及深度学习可解释性工具Captum和移动设备版PyTorch Mobile。
Chintala认为,机器学习框架的发展改变了研究人员的工作方式。框架之间的融合将成为未来的发展趋势,例如XLA、TVM和PyTorch的Glow。
框架的编译器之争
框架的竞争将集中在编译器技术上,如量化和硬件加速器,以提高模型训练速度和性能。
Jeff Dean领导的Google AI团队预计,多模态学习将在2020年取得重要进展。多模态学习是指利用多种媒体进行训练的AI系统,而多任务学习则涉及一个网络同时完成多个任务。
Transformer模型的持续发展
基于Transformer的自然语言模型,如BERT,将继续成为研究热点。Google开源的BERT模型已经在多个基准测试中表现出色。
加州大学伯克利分校的发展心理学家Celeste Kidd认为,2020年可能标志着“神经网络不可解释”的观念的终结。她强调,神经网络与大脑一样,都是黑箱,但人类对大脑的理解已经取得了很大进展。
模型的可解释性
Kidd呼吁更多地关注技术工具和技术决策在实际生活中的影响,并摒弃制造商不负责的态度。她希望看到更多关于神经网络可解释性的研究。
IBM研究总监Dario Gil预测,2020年将更加关注模型的实用性和可信度,而非单纯追求准确率。神经符号方法和常识推理将成为研究的重点。
计算效率的提升
Gil认为,现有硬件和GPU架构的使用效率需要大幅提高,以满足不断增长的训练需求。
英伟达机器学习研究总监Anima Anandkumar强调,未来一年将看到更多针对特定领域的文本模型。此外,迭代算法、自监督和自训练方法也值得关注。
强化学习和模拟框架
2019年,英伟达在自动驾驶和机器人模拟等领域取得了显著进展。Anandkumar希望看到更多创新应用,如使用GAN生成合成数据。
参考链接
https://venturebeat.com/2020/01/02/top-minds-in-machine-learning-predict-where-ai-is-going-in-2020/
通过这些专家的预测,我们可以看出,2020年机器学习将继续向着更高效、更实用和更具解释性的方向发展。