阿里云第八代企业级实例g8i算力升级:整机性能提升85% AI推理最高提速7倍
作者头像
  • 朱洁
  • 2024-01-22 09:58:58 3060

【科技环球网报道】2023年1月11日,阿里巴巴云平台宣布其第八代企业级通用计算实例ECS g8i已显著增强计算能力。该平台首次引入了代号Emerald Rapids的第五代英特尔至强可扩展处理器,借助阿里云自主研发的「飞天+CIPU」架构体系,ECS g8i实例的整体性能提升了惊人的85%,AI推理性能更是达到了7倍的飞跃,支持高达72B参数的大语言模型构建,将中小规模模型的建设成本降低至50%。

阿里云弹性计算产品线负责人张献涛指出,ECS g8i实例的卓越性能展示了以CPU为核心的计算架构在加速AI推理任务上的巨大潜能。公共云不仅能够支持超大规模的AI模型,同时也为AI应用的快速部署开辟了新的途径。

英特尔中国数据中心和人工智能集团至强客户解决方案事业部的李亚东强调,第五代英特尔至强®可扩展处理器每个内核均具备AI加速功能,能够有效处理复杂的AI工作负载。相较于上一代,该处理器在AI训练性能上提升了29%,AI推理能力提高了42%。通过与阿里云合作推出的ECS g8i实例,旨在促进AI技术的普及,使AI技术无处不在。

计算性能全面提升,整体性能提升85%

作为面向企业的通用计算实例,ECS g8i实例在计算、存储、网络和安全性方面进行了全面优化。L3缓存容量达到320MB,内存速率高达5600MT/s,整机性能提升了85%,单核性能增长了25%。存储方面,ESSD云盘提供100万IOPS,全面采用NVMe技术,存储延迟低至百微秒。网络方面,提供高达3000万的PPS,配备了阿里云自研的eRDMA大规模加速能力,网络延迟低至8微秒。安全方面,ECS g8i实例集成了可信计算与加密计算等特性,全球范围内率先支持机密虚拟机TDX技术,构建了全方位的安全防护体系。

AI加速,支持72B参数大语言模型

在AI领域,ECS g8i实例通过内置的指令集升级至Intel AMX高级矩阵扩展加速技术,显著提高了生成式AI的运行速度。相较于AVX512指令集,启用AMX AI加速后,ECS g8i实例在int 8矩阵计算性能上最高提升7倍。这使得小型参数模型的运行更为迅速,对于知识检索、问答系统和摘要生成等AI工作负载,起建成本相比A10 GPU云服务器降低了50%,结合阿里云平台的Spot抢占式实例,进一步降低了AI推理成本。

端到端安全防护,构建可信AI应用

阿里云在全产品线构建了从数据存储、传输到计算的端到端安全防护体系。CIPU的安全架构搭载了硬件可信根——安全芯片TPM,确保服务器的可信启动,防止篡改。在虚拟化层面,支持虚拟可信能力vTPM,保证实例启动过程的核心组件校验。实例层面上,提供了不同平台的机密计算能力,实现运行态内存数据隔离和加密保护。此次升级的ECS g8i实例全面支持Trust Domain Extension TDX技术,使得业务应用无需改动即可部署到TEE中,大大降低了技术门槛,并以极低的性能损耗为大模型等AI应用提供隐私增强算力,保障云上数据安全。

“阿里云将持续深化技术创新,为用户提供稳定、强大、安全、灵活的计算服务,推动AI技术在各个行业实现全面爆发。”张献涛如是说。

    本文来源:图灵汇
责任编辑: : 朱洁
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
八代阿里企业级提速整机推理实例提升性能最高
    下一篇