曙光存储携业内首创技术,攻克大模型存储三大痛点
作者头像
  • 邻章
  • 2023-07-21 00:00:00 3103

国内大模型产业繁荣发展,据统计,中国已发布了超过79个拥有10亿以上参数的大模型。

随着大模型的普及,对存储系统的挑战日益凸显,主要体现在三个方面:数据加载速度缓慢,延长训练周期;数据访问协议的多样化,要求更高的数据访问效率;以及数据生命周期管理的不完善,数据安全问题亟待解决。

为了应对这些存储难题,曙光存储为大模型提供了全面的解决方案,其创新推出了业内首个XDS技术,旨在提升存储效能、降低成本并增强安全性。

增效:曙光ParaStor首次引入XDS多层级智能加速技术,实现了存算协同优化,显著提升了工作效率。这一技术通过集成算力端和存力端的加速引擎,实现了数据直接加载至智能芯片,大幅减少了CPU与缓存间的数据传输延迟,提高了数据集加载及处理速度。XDS技术不仅支持GPU的直接存取,还兼容多种智能芯片的数据直接存取,有效简化了数据存取流程,节省了硬件资源。通过在存力端嵌入ParaBuffer加速引擎,构建了AI训练计算节点与存储系统之间的大内存池,进一步提升了系统整体I/O性能,训练时间得以大幅缩短,从数十天降至几天。

降本:为解决数据访问协议多样性的痛点,曙光ParaStor支持文件、对象等多种存储协议,为大模型提供了统一的存储平台。通过实施热温冷数据智能分级流动策略,用户可根据数据的重要性和使用频率,自定义数据标签,实现数据的自动化分类和管理,有效降低了数据管理的成本。曙光ParaStor凭借全栈自研能力,从底层操作系统、存储架构到软件核心模块乃至存储介质,全方位保障数据安全,提升存储可靠性,确保数据管理既省心又省力。

目前,曙光存储正助力国内某AI新经济独角兽大模型平台构建PB级NVMe全闪存高性能存储池,从硬件到软件,全方位满足了性能、可靠性、安全性的高标准要求,为大模型应用提供了高效、安全、可靠的存储解决方案,推动了多个领域的创新发展。

    本文来源:图灵汇
责任编辑: : 邻章
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
痛点存储曙光攻克首创模型业内三大技术
    下一篇