生成式AI正引领智能革命,成为产业升级的核心动力,并引发了“百模大战”。这种趋势不仅推动了多样化大模型应用的激增,也增加了对高性能AI芯片的需求。为了满足这一需求,行业正在加速推进2.5D、3D及3.5D异构集成技术,即使在摩尔定律放缓的背景下,这些技术依然能够显著提升芯片性能。
与此同时,AI的应用正在推动EDA(电子设计自动化)和半导体产业发生颠覆性变革。在AI时代,AI芯片设计面临着哪些挑战?EDA和IP(知识产权)工具又将如何借助AI的力量来应对这些挑战?
在12月11日至12日举行的上海集成电路2024年度产业发展论坛暨第三十届中国集成电路设计业展览会上,来自楷登电子(Cadence)的专家分享了他们的见解。Cadence数字设计及签核事业部产品验证群总监李玉童和Cadence技术支持总监李志勇分别发表了题为《3D-IC 打破AI芯片的设计桎梏》和《基于标准的协议对未来人工智能工作负载至关重要》的演讲,深入探讨了这些问题。
生成式AI推动了大模型应用的蓬勃发展,这一趋势已经延伸到EDA领域。Cadence推出了其全面的“芯片到系统”AI驱动的EDA工具平台——Cadence JedAI Platform,这一平台旨在通过AI大模型来优化芯片设计。通过JedAI平台,可以有效地进行数据存储、分类、压缩和管理,从而提升EDA工具和设计流程的效率,进一步优化功耗、性能和面积(PPA)。
李玉童介绍,JedAI平台采用了分层的大型语言模型(LLM)训练架构,包含四个层级。最底层是开源基础模型,由第三方利用公共数据进行训练。在此基础上,Cadence利用专有数据训练专属模型,以更好地满足客户需求。客户还可以在其基础上进一步训练,生成私有模型。最顶层是用户界面,允许用户通过自然语言输入各种请求,与Cadence JedAI大型语言模型进行交互,获取所需的专业解答。
LLM的参数量指数级增长对与处理器匹配的内存系统提出了更高要求,AI存储需要更大的容量、更高的带宽和更低的功耗,这使得AI芯片的设计面临前所未有的挑战。HBM(高带宽内存)是克服“内存墙”的主要解决方案之一,它强大的I/O并行化能力使其成为AI系统中的高规格存储设备。当前业内正在开发的DRAM-on-Logic堆叠方案有望将AI芯片带宽进一步提升至32TB/s,使得AI大模型应用的响应速度进一步加快。
李玉童详细介绍了封装级3D-IC和晶圆级3D-IC(3D-SoIC/X-Cube)的技术路线图及其面临的挑战。如果将多个2.5D、3D封装的芯片堆叠到同一个系统级芯片封装中,就形成了3.5D-IC。从2.5D到3D-IC乃至3.5D-IC,对于AI芯片而言,无论是带宽还是处理单位数据的能效比都具有显著优势。然而,芯片堆叠带来的复杂性也带来了新的挑战,如传输层和运算层的Bump对齐、时钟树协同优化等。
在分论坛上,李志勇首先分析了AI时代的市场趋势和关键驱动因素,以及生成式AI对半导体行业的重大影响。在不同的AI应用中,对处理器和SoC(系统级芯片)的需求各不相同,不同的工作负载需要不同的系统构成。李志勇指出,无论是推理、训练、数据挖掘还是图形分析,异构应用都需要独特的解决方案来优化实施。
数据传输设计是关键,通用设计的复用将带来增量性能和成本方面的优势。标准接口是设计的重要组成部分,当前市场上各种主流及创新架构大量使用了标准接口,HPC、AI/ML和云对各类IP(知识产权)的需求正在不断增加。随着摩尔定律的极限到来,以UCIe和其他形式实现的D2D接口封装和标准化的进步使得分解和基于芯粒的设计成为现实。
Cadence通过不断创新和优化全栈IP解决方案,帮助客户克服AI芯片设计挑战。在存储接口方面,Cadence的协议选项涵盖了所有最新标准和数据速率的深度解决方案组合,包括DDR、LPDDR、GDDR、HBM等,可帮助客户利用多功能内核以更快的速度完成更多任务,全面满足客户从存储到AI,再到图形和内存扩展器的各种应用需求。
在高速串行接口方面,Cadence是唯一一家拥有8通道Gen6控制器和PHY测试芯片的IP提供商,并且在PCIe 7方面保持领先地位,Gen7已经向客户演示了demo,并有望在2027年满足市场需求。在高速以太网方面,Cadence的解决方案包括业界领先的224G/112G/56G物理层IP和控制器IP,支持高达800G/1.6T的子系统,并已在Cadence测试芯片和客户生产芯片中得到验证。
与此同时,随着Chiplet成为后摩尔时代的共识,D2D接口IP需求迅速增加。Cadence已推出使用UCIe标准接口实现处理器、系统IP和内存IP的高效集成解决方案,可满足高性能计算、汽车和数据中心行业不断变化的需求,并帮助客户克服设计挑战,加快产品上市时间。