攀登数据迷信阶梯：机器学习的未来

迈入数据迷信播客的“攀登数据迷信阶梯”系列，由杰里米·哈里斯（Jeremie Harris）主持。杰里米参与运营一家名为SharpestMinds的数据迷信辅导公司。以下是该系列的一部分内容：

过去十年间，机器学习的进步主要得益于计算能力和算法的双重提升。然而，在大多数人看来，这两方面似乎相对独立：人们认为有人在开发硬件，而其他人则在研究算法，二者之间并没有太多的交集。

但实际上，这种观点并不准确。硬件限制不仅会影响算法设计，还可以通过算法来优化硬件。越来越多的专业人士正将计算和建模结合起来，实现协同优化。

今天我们要介绍的是机器学习应用中的硬件和软件集成方面的全球领先专家之一——马克斯·韦林（Max Welling）。马克斯曾是一名物理学家，现在担任全球领先的芯片制造商高通公司的技术副总裁。此外，他还是加州大学尔湾分校、加拿大高等研究院（CIFAR）和阿姆斯特丹大学的机器学习研究员。他分享了许多关于当前机器学习研究现状及其未来发展方向的观点，以下是其中一些亮点：

• 计算过程会消耗大量能量，尤其是深度学习算法，这会导致手机电池迅速耗尽。因此，机器学习工程师和芯片制造商需要找到有效的方法来降低计算成本。一种常见方法是压缩神经网络，或者在不影响性能的情况下修剪部分网络。另一种方法是减少表示每个网络参数所需的位数（有时甚至低至一位）。这些策略通常会结合使用。

• 当前的机器学习模型通常针对特定任务进行训练，如将图像分类为数百种类型，或将一种语言翻译成另一种语言。然而，当这些模型应用于训练数据之外的情境时，其效果往往大打折扣。例如，一个经过训练识别肤色较深的人面部表情的计算机视觉模型，在肤色较浅的人群中表现可能较差。尽管生活经验告诉我们，肤色不应影响面部特征的解读，但这一显著差异仍然能够影响现有先进算法的表现。

• 因此，真正的挑战在于可推广性，这是人类仍优于机器的能力之一。那么，如何训练机器学习算法以实现泛化呢？马克斯认为，这与人类学习方式有关：我们的大脑似乎更专注于学习物理原理，比如“当我把一件物品扔向另一件物品时，它们会相互碰撞”。相比之下，机器通常从具体案例出发，而非从普遍规律或定律入手。

• 因此，马克斯认为，机器学习未来最有前景的发展领域将集中在学习逻辑和物理定律，而不是这些定律的具体应用上。