随着大模型的普及,对存储系统的挑战日益凸显,主要体现在三个方面:数据加载速度缓慢,延长训练周期;数据访问协议的多样化,要求更高的数据访问效率;以及数据生命周期管理的不完善,数据安全问题亟待解决。
为了应对这些存储难题,曙光存储为大模型提供了全面的解决方案,其创新推出了业内首个XDS技术,旨在提升存储效能、降低成本并增强安全性。
增效:曙光ParaStor首次引入XDS多层级智能加速技术,实现了存算协同优化,显著提升了工作效率。这一技术通过集成算力端和存力端的加速引擎,实现了数据直接加载至智能芯片,大幅减少了CPU与缓存间的数据传输延迟,提高了数据集加载及处理速度。XDS技术不仅支持GPU的直接存取,还兼容多种智能芯片的数据直接存取,有效简化了数据存取流程,节省了硬件资源。通过在存力端嵌入ParaBuffer加速引擎,构建了AI训练计算节点与存储系统之间的大内存池,进一步提升了系统整体I/O性能,训练时间得以大幅缩短,从数十天降至几天。
降本:为解决数据访问协议多样性的痛点,曙光ParaStor支持文件、对象等多种存储协议,为大模型提供了统一的存储平台。通过实施热温冷数据智能分级流动策略,用户可根据数据的重要性和使用频率,自定义数据标签,实现数据的自动化分类和管理,有效降低了数据管理的成本。曙光ParaStor凭借全栈自研能力,从底层操作系统、存储架构到软件核心模块乃至存储介质,全方位保障数据安全,提升存储可靠性,确保数据管理既省心又省力。