导读

我见过不少公司在尝试应用机器学习的过程中，有的取得了显著的成功，有的则遭遇了惨重的失败。一个常见的问题是，机器学习团队往往难以明确目标和期望。为什么会出现这种情况？

1. 难以预判任务的难易程度

在国际象棋中击败卡斯帕罗夫是件难事，还是简单地拿起并移动棋子更难？计算机在二十世纪九十年代就击败了国际象棋的世界冠军，但可靠地抓取和移动物体仍然是一个尚未解决的问题。人类并不擅长判断哪些任务对人工智能而言是简单的，哪些是复杂的。即使在同一领域，表现也可能有很大的差异。例如，预测情绪的准确性在影评中可以达到90%-95%的水平，而在推特上，人们在80%的情况下对一条推文的看法是一致的。另外，只要预测一条关于航空公司的推文是负面的，就能达到95%以上的准确率。

度量标准在项目初期可能快速提升，但在一段时间后可能会遇到瓶颈。我曾举办过一个Kaggle竞赛，世界各地成千上万的人参与其中。在比赛的第一周，准确率从35%上升到了65%，但接下来的几个月里，准确率再也没有超过68%。68%的准确率显然反映了数据对于当前最先进的机器学习技术的限制。尽管如此，65%和68%之间的差异在大多数情况下几乎是无法察觉的。如果这是一个外部项目，我肯定会对结果感到失望。

我的朋友Pete Skomoroch告诉我，作为一名专注于机器学习研究的数据科学家，在工程部门工作是多么令人沮丧。工程项目通常进展顺利，但机器学习项目有时会停滞不前。花费一周时间对数据进行建模，结果却毫无改善，这在机器学习项目中是非常常见的。

2. 机器学习容易以意想不到的方式失败

机器学习在大量训练数据和消费数据与训练数据相似的情况下通常表现良好。人类善于从训练数据中总结规律，因此在这方面我们有很好的直觉。我制作了一个带有摄像头和视觉模型的小机器人，该模型是根据网上数百万张ImageNet图像训练的。我对机器人摄像头拍摄的图像进行了预处理，使其看起来像来自网络的图像，但准确性远低于预期。为什么会这样？网络上的图片通常是针对特定对象进行构图的，但我的机器人不一定像人类摄影师那样直接对准物体。人类可能不会注意到这种差异，但在使用现代深度学习网络时，这种差异会造成很大影响。有许多方法可以解决这个问题，但我注意到它是因为性能大幅下降，我为此花费了大量时间调试。

更糟糕的是，导致性能下降的细微差异很难被发现。接受《纽约时报》训练的语言模型并不能很好地概括社交媒体文本。这在预料之中。但从2017年末开始训练的模型，在2018年的文本中表现不佳。下游分布随着时间的变化而变化。当对手适应了欺诈模型的行为时，欺诈模型就会完全失效。

3. 机器学习需要大量的相关训练数据

这一点大家都知道，但却是巨大的挑战。如果你能够收集并标记大量的训练数据，计算机视觉可以完成许多惊人的任务。对于某些应用场景，数据本身就是某些业务流程的副产品。这正是机器学习真正发挥作用的地方。然而，对于许多其他应用场景，收集训练数据是非常昂贵且具有挑战性的。许多医疗应用似乎非常适合机器学习——利用大量微弱的信号和清晰的结果来做出关键决策——但数据由于隐私问题而被锁定，或者一开始就没有被统一收集。

许多公司不知道从何开始投资收集训练数据。这是一项重要的工作，很难提前预测模型的表现。

如何应对这些挑战？

1. 关注你的训练数据

检查算法在训练数据上的错误分类情况。这些错误通常是标注错误或边界样本。无论如何，你需要了解它们。让每位构建模型的人都查看并自己标注一些训练数据。对于许多应用场景，一个模型不太可能比两个独立的人达成更好的效果。

2. 先做一个端到端的系统，然后逐步改进

从最简单但有效的事情开始，然后部署它。你会从中学习很多。任何额外的复杂性在研究论文中可能有助于改进模型，但在现实世界中却很少有效。每个额外的复杂性都需要验证。

将一些东西交给最终用户，可以帮助你尽早了解模型的实际效果，还可以揭示一些关键问题，比如模型优化的内容与最终用户的需求之间的差异。这也有助于重新评估你正在收集的训练数据的类型。尽早发现问题总是好的。

3. 寻找优雅的方式来处理不可避免的算法失败

几乎所有机器学习模型在长时间运行时都会出现故障，如何处理这一问题至关重要。模型通常有一个可靠的置信度评分。通过批量处理过程，你可以构建一个包含人工干预的循环系统，将低置信度的预测发送给人类操作员，从而实现系统的稳定运行，并收集高质量的训练数据。对于其他应用场景，你可以采用标记潜在错误或以不那么烦人的方式展示低置信度预测的方法。

一个没有妥善处理失败的例子是微软的Tay机器人，它很快就从推特上的喷子那里学会了不良行为。