导读

过去一年，生成式人工智能赛道的热度持续攀升，如今，"全心投入AI"已成为科技行业的普遍共识。互联网公司正通过AI重塑业务与软件，终端制造商则利用AI改造产品，瞄准AI手机、AI电脑等市场，而芯片及解决方案供应商亦借AI革新芯片设计。

在此背景下，作为早期在终端AI底层技术布局的高通，近期发布了《通过NPU与异构计算解锁终端侧生成式AI》白皮书。这份报告深入探讨了高通如何利用NPU和异构计算，开启多样化的生成式AI应用场景。

异构计算：满足生成式AI需求的利器

高通的异构计算体系，即高通AI引擎，整合了CPU、GPU、NPU及传感器中枢等不同处理器组件，协同工作以提供卓越体验。每一代产品中，高通均不断强化各组件性能，以适应生成式AI的多样化需求。

不同处理器各司其职：CPU擅长顺序控制，适用于低延迟应用，如高通在对时延要求严格的场景中使用CPU；GPU则在高精度图像和视频处理方面表现出色；NPU在连续运行场景中，能以低功耗实现高性能输出，尤其在LLM和LVM应用中表现优异。

Hexagon NPU：从过去到未来的演进

高通AI引擎中的Hexagon NPU，拥有强大的差异化优势和先进的AI处理能力。自2015年推出以来，Hexagon NPU经历了从基础AI运算扩展，到AI影像与视频增强，再到引入Transformer层处理和张量运算核心的全面进化。

从2023年开始，Hexagon NPU实现了对LLM和LVM的支持，显著提升了处理基于Transformer模型的能力，支持高达100亿参数模型的终端运行，引领了生成式AI处理的新高度。

未来展望：多模态生成式AI的潜力

高通正着眼于多模态生成式AI的未来，展示在终端上运行的多模态生成式AI模型，如基于图像输入解答问题的LLaVA模型，这将为视障人士提供城市导航辅助，通过将图像信息转换为音频或语音，提升其对周围环境的认知。

异构计算在AI应用中的实践

高通通过骁龙Hexagon NPU及其AI引擎的异构计算系统，阐述了在具体AI应用中的工作原理。以AI旅行助手为例，用户提出旅游规划需求，助手快速生成航班建议，并通过语音对话调整行程，最后集成Skyscanner插件完成航班预订。

高通AI软件栈：推动AI规模化部署的关键

高通AI软件栈为开发者提供了全面的AI框架支持，包括TensorFlow、PyTorch、ONNX、Keras等，并支持主流AI运行时，如DirectML、TFLite、ONNX Runtime、ExecuTorch，以及编译器、数学库等AI工具，旨在简化AI应用开发过程。

通过高通AI软件栈与核心硬件IP的结合，高通能够将AI应用扩展至智能手机、PC、物联网终端乃至汽车等多个产品线，为合作伙伴和用户提供显著优势，实现一次开发即可部署于不同高通芯片组解决方案。

结语

综上所述，高通的白皮书揭示了其在终端侧生成式AI领域的全链条部署策略，以及Hexagon NPU在这一领域中的领先地位。通过异构计算优化，尤其是NPU的高效能，高通成功解锁了生成式AI的最佳性能与能效。随着终端侧AI成为行业焦点，高通凭借多年积累和技术领导力，通过产品与生态合作，有望加速生成式AI在终端市场的规模化扩展。