摘要：AI产业领导者需提前布局，尽早让用户接触产品，增强用户粘性，以在激烈的市场竞争中脱颖而出。

2024年注定是AI行业的焦点之年，尽管刚步入三月，AI相关的新闻已频繁占据头条。上月，OpenAI推出了文字转视频的大模型Sora，其真实感令专注于此领域的创业公司市场萎缩。紧接着，英伟达市值跃升至2万亿美元，成为历史上最快速度从1万亿到2万亿市值跨越的企业，正如“找到金矿，最佳业务不是挖矿而是提供工具”，英伟达在AI时代的“军备竞赛”中稳居领先地位。

在人们惊叹“世界上的AI分为两种，一种是OpenAI，其余皆为其他”的背景下，沉寂已久的Anthropic推出突破性产品——Claude3模型，各项指标全面超越GPT4，揭示了AI行业的动态发展与竞争激烈。

AI行业正处于快速发展初期，技术迭代迅速，当前领先者可能一夜之间被新技术颠覆。诸多令人眼花缭乱的技术虽已问世，但迟迟未公开或部署，例如Sora模型，至今尚未向公众开放。

生成式AI的开发与本地部署之间存在显著差距。目前，大众使用的生成式AI产品往往依托云端服务器进行计算，用户通过网页访问，但这无法满足所有需求，并可能引发隐私和数据安全问题。

生成式AI与本地部署之间的鸿沟体现在：复杂的大模型在有限带宽下与云端传输受限，影响用户体验；对于敏感数据和隐私数据，云端存储相比本地存储更为用户担忧。

尽管AI功能强大，将其本地化部署仍面临挑战。这成为行业发展趋势，但目前遇到的难题是如何将“大模型”嵌入“小设备”。

解决之道可能在于异构计算。高通的异构计算AI引擎通过CPU、GPU、NPU及传感器中枢和内存子系统协同工作，实现AI部署与用户体验的大幅提升。

CPU负责顺序控制，适用于低延迟应用，处理小型模型如卷积神经网络（CNN）或特定的语言模型（LLM）亦游刃有余；GPU则擅长高精度格式的并行处理，如高质量视频和游戏。

NPU作为AI专用引擎，通过牺牲部分编程便利性来实现高性能和能效，为AI体验保驾护航。当用户进行高负载游戏或同时浏览多个网页时，NPU会接管AI相关计算，确保体验流畅。

CPU、GPU、NPU与传感器中枢和内存子系统集成构成异构计算架构。Hexagon NPU作为关键组件，经过多年迭代，已达到行业顶级AI处理水平。

第三代骁龙8平台集成了高通AI引擎，支持LPDDR5x内存，频率高达4.8GHz，使大型语言模型（如百川、Llama 2）在高速内存读取速度下运行，实现快速的令牌生成，提供全新体验。

Hexagon NPU自2007年首次亮相以来，历经多次升级，现已应用于第三代骁龙8，实现低功耗下的高性能AI处理。

2024年2月，高通展示了全球首个在终端侧运行的超70亿参数大型多模态语言模型（LMM），可在接收文本和音频输入后，基于音频内容生成多轮对话。

在集成了Hexagon NPU的移动终端上，AI体验实现显著提升。借助AI旅行助手，用户可通过语音提出旅游行程规划需求，AI助手即时提供航班建议，并通过语音对话调整结果，最终通过Skyscanner插件创建完整的航班行程。

行业正处于爆发前的准备阶段，AI产品开发者需抢先行动，让用户早日接触产品，建立连接，培养用户忠诚度，以在竞争中占据有利位置。

本文源自DeepTech深科技。