行业第一!天玑9300内存硬件压缩技术大幅降低手机AI大模型内存占用
作者头像
  • 马芳雪薇
  • 2023-11-10 00:00:00 3029

天玑9300:引领5G时代AI创新,打造端侧生成式AI体验新高度

一、创新核心:全大核架构与第七代AI处理器

联发科最新发布的旗舰级5G移动芯片天玑9300,搭载了创新的全大核架构设计及第七代AI处理器APU 790,专为生成式AI应用打造。APU 790的引入,不仅实现了硬件级的生成式AI引擎,更带来了高速、安全的边缘AI计算体验,特别针对Transformer模型进行算子加速,计算速度较上一代提升8倍。

二、性能跃升:能效双倍提升

APU 790在性能和能效方面均实现显著提升,整数运算与浮点运算能力较前代增强2倍。在AI-Benchmark Mobile Soc测试中,其得分高达2109分,AI性能稳居榜首,同时功耗降低了45%。这使得天玑9300能在1秒内生成图片,为端侧运行生成式AI提供了坚实的基础。

三、内存优化:混合精度INT4量化与内存压缩

联发科通过开发混合精度INT4量化技术,结合独特的内存硬件压缩技术NeuroPilot Compression,有效提升了内存带宽利用率,大幅减少了AI大模型对终端内存的需求,为端侧运行大规模AI模型扫清了内存障碍。

四、AI模型拓展:端侧技能扩充技术NeuroPilot Fusion

通过NeuroPilot Fusion技术,天玑9300实现了基于基础大模型的端侧技能扩充。借助这一技术,用户可在单一基础模型上通过云端训练,实现多种功能融合,极大地丰富了生成式AI的应用场景。

五、全面的AI生态布局

联发科不仅在硬件层面进行了革新,还通过AI开发平台NeuroPilot构建了完善的AI生态系统。该平台支持包括Android、Meta LIama 2、百度文心一言、百川智能等主流AI大模型,并配备了一套完整的工具链,如NeuroPilot Compression、Speculative Decoding推测解码加速等,加速了生成式AI在端侧的部署和应用。

六、合作伙伴生态:共创AI应用体验

联发科携手多家行业伙伴,共同打造了多样化的生成式AI应用体验。例如,虹软的生成式AI超级分辨率技术、极感科技的生成式AI语意搜索技术、Morpho的视频通话实时数字分身生成技术,以及慧鲤的生成式AI防眩光技术,均展示了天玑9300在实际应用中的卓越性能和广泛潜力。

七、展望未来:端云融合与AI普惠

天玑9300作为5G时代AI创新的代表,不仅展现了在AI算力、用户体验及生态建设上的领先地位,更体现了联发科等企业在推进端侧生成式AI部署、推动技术普惠大众方面的努力。未来,随着AI端云融合趋势的深化,天玑9300有望进一步提升端侧AI应用的便利性和个性化,为用户带来更加智能、全面的新体验。

    本文来源:图灵汇
责任编辑: : 马芳雪薇
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
天玑内存占用大幅模型压缩降低硬件行业手机
    下一篇