在企业中大规模运用机器学习：ML平台和AutoML [第一部分]

概述

各行各业的企业，包括初创公司，都在努力将机器学习模型投入生产并实现商业化。这些模型能够自动化和优化业务流程，从而提高效率和效果。从2012年到2018年，许多知名科技公司开发了定制的ML平台，如Facebook的FBLearner、Uber的Michelangelo、Twitter的Cortex和Airbnb的BigHead。这些平台大多基于开源软件包，并针对各自公司的具体需求进行了定制。

此后，企业级ML平台的发展势头迅猛。既有像Amazon SageMaker、Microsoft Azure ML和Google Cloud ML这样的老牌供应商，也有DataRobot、H2O、BigML和Dataiku这样的新兴竞争者。前者通常在其现有的云服务之上提供ML服务，而后者则更专注于原生的ML解决方案。

随着ML的广泛应用，许多企业开始倾向于使用现成的数据科学和机器学习平台，以加速产品上市时间、降低成本并提高成功率。尽管当前大多数ML项目仍处于概念验证阶段，但ML平台和自动机器学习（AutoML）已成为快速原型设计和验证ROI的重要工具。

结论

尽管企业在ML项目上的投资不断增加，但只有少数模型能够真正投入生产并取得显著成效。通常，只有20%的ML项目能带来80%的收益。因此，许多PoC项目被搁置或推迟。市场正趋于成熟，越来越多的公司选择购买而非自行构建ML平台和工具，以利用现成的供应商解决方案或混合方法。

AutoML和API是ML平台不可或缺的一部分，它们能够加快模型原型设计、验证和部署。通过增加模型候选者的数量和成功率，可以提升ROI。然而，数据质量和准备、ML技术债务、MLOps与DevOps的融合，以及企业内部的机器学习流程和技能仍然是主要障碍。传统机器学习正在迅速走出炒作期，预计在未来两到三年内将在企业中广泛普及。

未来的发展方向包括在ML平台中整合知识表示、推理、规划和优化功能，为更稳健的AI奠定基础。

1. 定义和上下文

ML平台是构建ML解决方案的关键工具，涵盖了预测模型和规范模型。这些平台支持将ML解决方案集成到业务流程、基础设施、产品和应用程序中。它们不仅帮助数据科学家和其他利益相关者（如ML工程师、数据分析师和业务分析师）在数据和分析渠道中开展多种任务，还支持快速原型设计和实验，而不仅仅是理论研究。

2. 大规模采用机器学习

企业面临的挑战包括技术债务和过多的ML模型。为了应对这些挑战，需要构建强大的ML平台。ML平台不仅需要支持各种技能的数据科学家，还需要能够处理复杂的业务需求。

3. ML平台市场

ML平台市场正在快速发展。早期采用者包括定制平台和现成平台。定制平台虽然灵活，但往往伴随着较高的技术债务。现成平台则提供了更快的部署速度和较低的成本。

4. 定制的ML平台

许多大型科技公司，如Facebook、Uber和Airbnb，都开发了自己的定制ML平台。这些平台通常基于开源软件包，并根据具体需求进行定制。这些定制平台逐渐成为主流。

5. 从DevOps到MLOps

DevOps和MLOps的区别在于，MLOps更注重机器学习模型的生命周期管理。ML平台驱动的组织需要具备指导力和责任感，以确保模型的成功部署和维护。

6. 自动化ML - AutoML

AutoML通过自动化模型选择和评估过程，提升了原型设计的速度和准确性。供应商之间的比较显示，AutoML在提高模型性能方面发挥了重要作用。

7. ML平台的未来发展

ML平台未来的发展将侧重于整合知识表示、推理、规划和优化功能，从而为AI的发展奠定坚实基础。

ML和AI的企业采用框架

考虑到ML平台和工具的重要性，它们可以被视为企业的一流资产。除了技术因素，流程、优先级和人员也是成功部署ML驱动应用的关键。

ML算法

ML算法是构建可靠模型的核心。尽管深度学习和神经网络在处理非结构化数据方面表现出色，但在大多数业务场景中，传统的ML算法如线性回归、逻辑回归、随机森林等更为常用。这些算法提供了稳定的结果和更高的可解释性。

ML平台架构

定制的ML平台通常基于开源软件包构建，如Uber的Michelangelo。这些平台需要支持多种实时和静态数据模型。商业ML平台则更加通用，支持多种功能和自定义选项。

机器学习的炒作周期更新

随着技术的发展，机器学习和深度学习已经超越了炒作期，进入了“幻灭谷”。新的ML技术如AutoML、MLOps和可解释AI正处于炒作曲线的上升阶段。

构建与购买

市场已经分化为开源解决方案和商业解决方案。许多企业选择现成的平台，以加速产品上市、降低成本并提高成功率。这种趋势推动了企业级ML平台和MLaaS的发展。