近日,百度智能云推出了针对机器学习的高性能计算(HPC)解决方案,这将显著加快机器学习在各行各业的应用速度。
机器学习是目前应用最广泛的人工智能技术之一,其配套的HPC平台也越来越受到市场的重视。从超算TOP 100的发展趋势中可以看出,2015年开始,面向数据分析和机器学习的超算平台呈现快速增长的趋势,到2017年,其占比已经超过50%。除了传统的HPC行业如科学计算、地理信息等领域正在构建基于机器学习的HPC平台外,越来越多的行业也开始构建这样的系统,以提升自身在人工智能领域的竞争力。
超算TOP 100市场趋势图显示,随着人工智能逐渐渗透到各个行业,如何构建专门针对机器学习的HPC系统,使AI模型的开发更加简便高效,快速实现AI技术的产业化落地,已成为企业抢占行业领先地位的关键。然而,面向机器学习的HPC系统与传统HPC系统存在较大差异,传统HPC系统的构建模式并不完全适用于机器学习的需求。
在2019年的百度AI开发者大会上,百度智能云发布了面向机器学习的HPC解决方案,结合企业级AI开发平台BML和ABC Storage公有云存储产品。这一方案能够提供高效的机器学习算法算力平台和高性能存储平台,实现从数据预处理、模型训练到预测服务的一站式解决方案,从而加速行业数据的AI能力落地。
面向机器学习的HPC系统与传统HPC系统的主要区别在于算法算力和存储层。前者更侧重于GPU算力和处理非结构化数据的能力,后者需要满足训练过程中数以亿计图片、影像等数据的存储和读写需求。因此,面向机器学习的HPC系统需要具备更高的性能和稳定性。
百度智能云推出的基于深度学习的HPC方案具有以下五大特点:高性能、高效率、易用性、灵活性和安全性。该方案采用了全分布式架构,能够支持大规模应用场景,并通过ABC Storage高功能存储软件引擎、Optane高效元数据管理介质和QLC SSD高性价比闪存,实现了数据的一次写入、全程无需移动,从而保证了高性能和高稳定性的数据吞吐能力。
此外,百度智能云的HPC方案易于操作,支持一站式开发部署,覆盖了从模型训练到预测服务的全流程。它还支持主流的机器学习和深度学习框架,包括百度飞桨(PaddlePaddle),并提供交互式(Notebook)、可视化(拖拽)和自动化三种建模体验。同时,该方案提供了开放的API/SDK接口,便于客户与现有系统对接,并提供了一体化的交付服务,支持多种算力需求。
在存储方面,百度智能云采用Optane+QLC SSD的硬件配置,结合ABC Storage高功能对象存储引擎,满足了大规模GPU服务器的并发读写需求。此外,ABC Storage还支持InfiniBand网络,这是面向机器学习的全闪存对象存储方案的首次支持,能够提供更低延迟和更快的网络恢复速度。
总的来说,百度智能云的HPC解决方案不仅具备高性能、高效率、易用性、灵活性和安全性,还具有更强的兼容性和扩展性,能够为不同需求的客户提供全面的服务,加速AI技术在各行业的落地应用。未来,百度智能云将继续推进技术创新,为更多企业和研究机构提供智能化升级的支持。