Lyft近日宣布将自家的云原生机器学习和数据处理平台Flyte开源。Flyte是一个结构化的编程和分布式处理平台,旨在支持高度并发、可扩展且易于维护的工作流程。
Flyte平台已经在Lyft内部运行了三年多,支撑着包括消费模型训练和数据处理在内的多项任务。它已经成为定价、排名、预计到达时间(ETA)、地图绘制和自动驾驶(L5级)等多个团队的核心工具。目前,Lyft平台上每天运行着超过10000个工作流,涵盖约100万个任务和1000万个容器。
Lyft表示:“数据已经成为公司的重要资产,而大规模计算对于业务的成功至关重要,但实际操作起来却充满挑战。扩展、监控和管理计算集群往往给各产品团队带来沉重负担,进而影响迭代速度和产品创新的步伐。此外,这些工作流程通常涉及复杂的数据依赖关系。” Lyft在其博客中进一步解释道,“Flyte能够提升机器学习和数据处理的开发效率。”