人工智能(AI)是当前互联网行业的热门话题,无论是老牌企业还是新兴公司,都在积极研发AI技术以增强自身业务。在外卖行业中,配送效率和用户体验是关键的竞争因素。随着订单量下降、骑手数量增加以及配送场景变得更为复杂,配送算法需要在快速迭代、效果优化和预测准确性等方面不断改进。为了应对这些挑战,美团配送技术团队正在构建一站式机器学习平台,旨在提升算法研发和上线的效率。
截至2019年7月,美团外卖的日订单量已突破3000万单,占据市场领先地位。美团构建了全球领先的即时配送网络,并开发了先进的智能配送系统,成为全球最大的外卖配送平台。然而,如何提高配送效率和用户体验仍然是一个巨大的挑战。为此,美团需要解决大量的机器学习和运筹优化问题,例如ETA预测、智能调度、地图优化、动态定价等,同时还需要平衡用户体验、效率和成本之间的关系。
为了应对上述机器学习挑战,美团配送需要一个功能强大且易于使用的机器学习平台来支持算法研发人员。市场上有许多优秀的机器学习平台,如Azure、SageMaker、PAI等,但这些平台大多侧重于特定功能或场景。因此,美团配送决定打造一个一站式机器学习平台,以简化工程化开发流程,提高算法迭代速度。
在初期阶段,各部门独立开发各自的机器学习工具,以适应各自业务的特殊需求。这种方式虽然灵活且能够迅速响应业务需求,但存在重复开发和特征标准不统一的问题。随着业务规模扩大,这些问题逐渐显现出来。
为了避免重复劳动并提高研发效率,美团配送组建了专门的算法工程小组,统一规划和开发机器学习平台。该平台集成了多种机器学习框架,包括Spark ML、XGBoost和TensorFlow,并提供了丰富的功能,如模型训练、特征处理、模型管理和AB实验等。
图灵平台是一站式机器学习平台,旨在覆盖算法研发的全过程,包括数据处理、特征生产、样本生成、模型训练、模型评估、模型发布和效果评估等。平台的设计目标是提供高度灵活和易用的服务,以支持各种业务场景。
离线训练平台旨在通过可视化界面降低算法研发人员的入门门槛。它支持多种机器学习和深度学习模型,并提供了自定义功能,如自定义损失函数和自动调参等。平台生成的模型还包括MLDL文件,以确保离线训练和在线预测的一致性。
模型管理平台支持本地和远程部署,并提供了模型绑定特征功能,方便算法RD快速获取特征。此外,平台还支持大规模模型的分布式部署,确保模型在不同节点上的高效运行。
离线特征平台负责将离线特征数据转换为在线服务所需的形式。为了提高性能,平台采用了特征组的概念,通过聚合减少Key的数量,从而提高查询效率。
实时特征平台则专注于实时收集和处理业务数据,提炼成算法所需的特征,并实时更新。这种方式确保了算法能够在瞬息万变的环境中有效运行。
AB实验平台采用了一种创新的分流方法,支持按天、小时或分钟分片,并通过轮转切换不同策略,确保实验结果的科学性和公平性。
目前,图灵平台已经成功应用于美团配送、小象和LBS等业务中,显著提高了算法研发效率。未来,美团将继续深化探索,加强深度学习的支持,并进一步优化在线预测平台,以实现算法和工程的解耦。