走向边缘智能,美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型
作者头像
  • 段祎琳
  • 2023-11-14 00:00:00 3085

探索前沿AI技术:美格智能与阿加犀的强强联手

构建智能底座,加速大模型终端部署

随着生成式人工智能的兴起,大模型的应用已跨越云端,深入千行百业。美格智能凭借其深厚的软硬件一体化开发能力,携手阿加犀的AI优化部署技术,共同在搭载高通QCS8550平台的强大算力AI模组上,成功运行了一系列大型语言模型,包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展示了其在边缘端部署大模型方面的卓越实力。

高算力AI模组:赋能终端AI

高通QCS8550芯片平台的推出,标志着AI算力的新纪元,集成了高性能NPU、Wi-Fi 7连接技术与增强图形和视频处理能力,为终端AI提供了高速、节能的计算平台。美格智能据此推出了高算力AI模组SNM970,综合AI算力高达48Tops,支持混合精度计算,为物联网设备打造了全新的智能底座。这一模组成为承载终端AI无限潜能的理想载体,为各类碎片化场景提供了稳定通信能力和强大的边缘算力,降低了AI产品的开发和使用成本。

克服挑战,加速AI终端部署

在AI从芯片到应用的过程中,面临着跨平台迁移、异构芯片效率损失和场景需求碎片化的挑战。阿加犀凭借成熟的AidLux平台和领先的一站式AI工具链,显著提升了边缘设备的AI性能和模型执行效率,为AI项目的快速落地提供了专业支持,从而加速了AI应用在终端的部署。

多语言模型的成功运行

美格智能与阿加犀的合作成果,不仅验证了算力模组作为大模型边缘AI算力底座的通用性,还表明了边缘端生成式AI的支持已更加成熟。这为AI技术的广泛应用开辟了道路,有望将其拓展至更多领域。

高算力AI模组,触手可及的AI

美格智能致力于终端侧AI应用的创新,通过持续升级高算力AI模组的AI硬件,现已拥有从入门级到旗舰级的多层次产品线,包括SNM930、SNM950、SNM960、SNM970、SNM972等系列,覆盖了广泛的AI算力需求。在AI应用场景、性能优化和低功耗编程等领域,美格智能的研发能力领先业界,旗下算力产品广泛应用于智慧零售、智能机器人、智慧交通、智慧农业、智能制造等多个行业,推动了AI驱动的业务创新。

打造SoC阵列服务器,实现AI边缘计算

美格智能基于高算力AI模组SNM972,为客户提供SoC阵列服务器解决方案。此模组采用MiniPCIe封装,支持16GB LPDDR5X + 256GB UFS 4.0内存,兼容多种模型框架,如ONNX、Pytorch、CAFFE、TensorFlowLite等,适用于各类AI场景。方案采用模块化与热插拔设计,支持不停机维护,最高配置可达80路算力模组,每模组内支持Android虚拟化,可虚拟出多计算单元,为实时互动云计算、边缘AI云计算、云渲染等业务提供最佳算力基础。

展望未来,让AI触手可及

美格智能与合作伙伴紧密协作,围绕高算力AI模组打造多样化行业解决方案,旨在缩短大模型与实际应用之间的距离,把握数字经济发展机遇,让AI技术触手可及,推动社会智能化进程。

    本文来源:美格智能
责任编辑: : 段祎琳
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
美格阿加智能模组模型边缘携手走向运行语言
    下一篇