能力再提升!金山云对象存储正式推出KS3极速型产品
作者头像
  • 许你心安
  • 2023-11-30 00:00:00 3081

近期,金山云对象存储服务推出了以固态硬盘(SSD)作为存储介质的KS3极速型产品,其最高可达1Tbps/PB的传输带宽,较基于机械硬盘(HDD)的对象存储性能提升了百倍以上,为AIGC、存算分离、动漫渲染和高性能计算等应用场景提供了强大的存储解决方案。

KS3极速型特性概览

  • 性能选择与带宽:KS3极速型提供了三种性能级别——PL3、PL2和PL1,分别对应1Tbps/PB、500Gbps/PB和200Gbps/PB的带宽。性能的显著提升得益于金山云对SSD并发能力的优化利用,以及对垃圾回收机制的重新设计和零成本空间回收技术的应用,成功解决了SSD的寿命和性能问题。

  • 优化接入层:除了介质优化外,金山云对KS3极速型的接入层进行了大量优化,包括改进内存零拷贝、异步化等技术,有效避免了长尾任务对请求的阻塞。同时,采用两级两维度的优先级调度策略,确保了高优先级任务的及时响应。

  • 动态扩展与兼容性:KS3极速型支持基于数据量动态扩展带宽的能力,容量越大,提供的带宽越高。此外,它还具备小时级调整性能和带宽的弹性扩容功能,且完全兼容现有KS3访问API和SDK,用户无需在业务侧做任何修改,即可直接使用。

面向特定场景与效益提升

在AIGC领域,优化存储性能对于提高大模型训练效率和降低运营成本至关重要。举例而言,对于一个175B参数量的大模型,使用标准对象存储加载40TB数据需时535分钟,而采用KS3极速型对象存储则只需11分钟。在模型生成过程中,单次Checkpoint数据量为2.8TB,使用极速型对象存储的写入时间缩短至45秒,相比标准对象存储缩短了约50倍。

综合考虑数据加载和写入效率,在大模型训练周期中,通过采用全闪的极速型对象存储,不仅能够减少约39%的训练时间,还能降低约37%的整体成本。在大数据存算分离场景下,基于HDD的传统对象存储受限于性能限制,通常需要额外的缓存层以满足高性能需求。相比之下,全闪对象存储提供与缓存层相近甚至更高的读写带宽,避免了引入额外工作流程的成本,充分发挥了存算分离架构的优势。

金山云正积极实施“三步走”战略,目标是实现高吞吐量、低损耗,目前正处于实现带宽和磁盘交付率的阶段。未来,金山云计划深化基于全闪介质的技术和产品能力,结合QLC技术的发展,以成本效益为核心,推出性价比高、性能卓越的对象存储产品,为行业和用户创造更大的价值。

    本文来源:图灵汇
责任编辑: : 许你心安
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
金山对象存储提升能力推出正式产品KS3
    下一篇