智能实时应用正在各个行业中引发革命性变化。机器学习及其分支——深度学习正在迅速发展。机器学习使得计算机能够在无人干预的情况下挖掘出隐藏的洞察力，这在非结构化数据分析、图像识别、语音识别和智能决策等方面尤为重要，与传统的编程方式（如Java、.NET或Python）相比，这种方法有着显著的优势。

尽管机器学习并不是新概念，但大数据集的涌现和处理能力的提升使得每个企业都能构建自己的分析模型。各行各业都在利用这些分析模型来优化业务应用和服务，从而提高利润、降低成本或改善用户体验。

然而，实际情况是，尽管企业大力宣传机器学习和人工智能，但这些技术大多仍处于试验阶段。造成这种情况的原因不仅与机器学习项目的自然实验有关，还与不成熟的机器学习架构紧密相关。

尤其在企业环境中，现代机器学习解决方案的新应用程序与企业的实际需求和法规要求之间存在冲突，使得机器学习解决方案的实施面临挑战。

当企业采用机器学习解决方案时，需要设置哪些关键的架构组件呢？这个问题的答案并不简单。不过，一些研究实验室和数据科学家已经在这方面做出了一些努力，为大规模机器学习解决方案打下了基础。

目前，大规模机器学习解决方案的两个主要挑战是：

1. 机器学习框架和基础设施的发展速度远超它们在主流环境中的应用速度。

过去几年，机器学习生态系统中的研究、开发框架和基础设施领域发展迅速，而应用架构的发展相对滞后，导致在实际应用新的机器学习架构时遇到不少障碍。

2. 机器学习解决方案的生命周期与其他软件开发领域截然不同。

这一点在实际应用中才显得尤为明显。机器学习程序的生命周期与传统软件应用有很大差异，因此，传统的开发方法，如敏捷开发或瀑布模型，以及持续集成/持续交付工具和流程，在应用于机器学习项目时显得不够适用。

尽管存在这些挑战，一些早期的架构设计已经为机器学习解决方案提供了可行的工作流程。不过，这些方案并未像流行的机器学习框架（如TensorFlow、PyTorch）或平台（如AWS SageMaker、Azure ML）那样受到广泛关注。

以下是几种值得推荐的机器学习参考架构，可以帮助企业在实践中更好地应用机器学习：

1. DataBricks的MLflow

MLflow是一个开源平台，旨在自动化机器学习解决方案的整个生命周期。它重点关注机器学习工作流程的三个关键方面：训练、项目打包和模型部署。MLflow集成了许多主流开发框架和运行时基础设施，适用于各种机器学习场景。

2. 斯坦福大学的DAWN

DAWN是由斯坦福大学与Intel、Google、Microsoft等公司合作发起的一个项目。该项目提供了一系列工具、框架和架构参考，以简化机器学习工作流程。DAWN涵盖了机器学习解决方案生命周期的不同部分，如训练（Snorkel）、持续分析（MacroBase）或数据计算（Weld）。

3. 脸书的FBLearnerFlow

FBLearner Flow是脸书用于机器学习应用的核心平台。该平台可以自动化机器学习工作流的不同环节，如特征提取、训练、模型评估和推理等。FBLearner Flow集成了多个机器学习框架和工具，如Caffe2、PyTorch和ONNX。

4. 谷歌的TFX

TFX是谷歌为执行机器学习工作流而创建的自有运行时。该架构基于一篇近期发布的研究论文，旨在简化TensorFlow的操作流程。TFX包含TensorFlow架构的关键组件，例如基于训练数据生成模型的学习器、分析和验证数据和模型的模块，以及为生产中的模型提供服务的基础设施。

5. 优步的Michelangelo

Michelangelo是优步机器学习工作流的核心系统，支持优步数百个机器学习应用的运行。从实验到模型部署，Michelangelo使用主流技术实现机器学习应用的生命周期自动化。此外，优步还使用其他专有的机器学习技术进行补充，如Horovod、PyML或Pyro。

相信随着机器学习技术的发展，会有更多的参考架构和框架出现，这些工具将成为全球企业软件堆栈中不可或缺的一部分，推动IT行业的进步，并扩展到各行各业。