在2018年3月27日的GTC大会上,NVIDIA首席执行官黄仁勋宣布了与ARM的合作计划,旨在整合NVIDIA的深度学习加速架构(NVDLA)与ARM的机器学习平台Project Trillium。这一战略整合旨在为行动设备、物联网等终端AI应用的开发者提供一套高效且易于更新的软硬件一体化解决方案。
Project Trillium是由ARM推出的机器学习解决方案,专为包括智能手机、平板电脑、传感器和IoT设备在内的各种终端装置设计,旨在加速人工智能(AI)依赖的神经网络运算。通常情况下,AI应用不仅依赖于云中心的大规模数据中心进行训练,还需在终端设备(如汽车、手机)上实时执行推理任务。通过针对特定算法进行优化,不仅能够显著提升AI应用的响应速度,还能有效节省终端设备的能耗,实现节能减排的目标。
Project Trillium被视为ARM在智能移动设备处理器市场取得领先地位后,通过AI应用向物联网领域扩展的关键策略。通过此次合作,NVIDIA得以将自身强大的深度学习加速器架构引入ARM覆盖的市场,为深度学习推理处理器提供了标准化设计的可能性。ARM预计将于4月发布Project Trillium的相关开发套件预览,并在同年中推出集成相关技术的产品。
对NVIDIA现有的开发者生态系统而言,这项合作意味着可以通过TensorRT等架构,快速将训练好的AI模型部署至终端设备上,例如通过远程软件更新(OTA)对负责加速神经网络运算的处理器进行模型更新。这将促进AI应用持续优化,使学术界或社区开发的最新应用能够直接通过推送更新部署到终端设备。对于物联网和移动设备市场来说,得益于NVIDIA在深度学习开发者生态的深厚积累以及ARM在该领域的主导地位,此IP合作有望加速AI推理应用的普及。