一、深耕大模型技术与产品
燧原科技自创立起便聚焦于云端训练产品的研发,致力于突破高性能训练芯片的难关。在2019年,他们推出了国内首台具备高精度FP32算力的云燧T10/T11产品,这一创新性成果奠定了其在国内大规模集群训练领域的领先地位。
借助云燧T11,燧原科技与之江实验室共同构建了一套超大规模AI液冷集群,旨在推动文本到视频生成的应用场景。这套集群成功支持了包括GPT-2、源1.0以及实验室自主研发的蛋白质结构预测在内的多个超大规模模型的高效训练。同时,该集群响应了绿色低碳环保的国家战略,实测PUE(能源使用效率)最低可达1.08。
经过五年的持续优化,燧原科技现已建立起涵盖硬件、软件到系统的全栈解决方案,凭借丰富的行业落地经验,为客户提供了多样化的人工智能系统软硬件产品,有效降低了AI算力中心的部署与应用成本。
二、全栈技术支持与业务拓展
在大模型标杆项目的实践经验指导下,燧原科技针对大模型场景形成了一套全面的技术体系,旨在大幅提升开发与应用周期。其全栈技术包括:
生态系统接入:支持主流AI框架和分布式加速库,如PyTorch、TensorFlow、PaddlePaddle、OneFlow、Megatron-LM、FairScale等,覆盖GPT-2、源1.0、悟道2.0、CPM等大模型的训练与微调。
极致性能提供:自主研发的GCU-LARE技术和ECCL分布式通信技术显著提升了多机多卡间的高速互联性能,支持数据并行、模型并行、流水线并行和混合并行等多种并行加速功能,同时运用了包括Activation Checkpointing、ZeRO优化器、CPU offload、AMP等算力和显存优化方法,实现高效的大模型训练。
TCO优化:通过一体化设计,燧原科技提供了云燧智算机(CloudBlazer POD)方案,旨在大幅降低构建满足大模型需求的AI算力基础设施的总拥有成本。
高性价比推理加速:依托于云燧i20在互联网社交应用上的成功经验,以及与各类落地场景的实践打磨,燧原的推理产品在支持Stable Diffusion、GPT-2、T5等大模型推理上展现出高性价比,加速了AIGC相关下游场景的商业化进程。
燧原科技专注于人工智能领域的云端算力产品研发,致力于提供普惠的基础设施解决方案,通过原始创新、全栈自研和自主知识产权的通用人工智能训练和推理产品,服务于互联网、金融、交通、能源及新基建等行业。秉持开源开放的原则,燧原科技与产业伙伴合作,共同推动人工智能产业的发展。