构建智能底座,加速大模型终端部署
随着生成式人工智能的兴起,大模型的应用已跨越云端,深入千行百业。美格智能凭借其深厚的软硬件一体化开发能力,携手阿加犀的AI优化部署技术,共同在搭载高通QCS8550平台的强大算力AI模组上,成功运行了一系列大型语言模型,包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展示了其在边缘端部署大模型方面的卓越实力。
高算力AI模组:赋能终端AI
高通QCS8550芯片平台的推出,标志着AI算力的新纪元,集成了高性能NPU、Wi-Fi 7连接技术与增强图形和视频处理能力,为终端AI提供了高速、节能的计算平台。美格智能据此推出了高算力AI模组SNM970,综合AI算力高达48Tops,支持混合精度计算,为物联网设备打造了全新的智能底座。这一模组成为承载终端AI无限潜能的理想载体,为各类碎片化场景提供了稳定通信能力和强大的边缘算力,降低了AI产品的开发和使用成本。
克服挑战,加速AI终端部署
在AI从芯片到应用的过程中,面临着跨平台迁移、异构芯片效率损失和场景需求碎片化的挑战。阿加犀凭借成熟的AidLux平台和领先的一站式AI工具链,显著提升了边缘设备的AI性能和模型执行效率,为AI项目的快速落地提供了专业支持,从而加速了AI应用在终端的部署。
多语言模型的成功运行
美格智能与阿加犀的合作成果,不仅验证了算力模组作为大模型边缘AI算力底座的通用性,还表明了边缘端生成式AI的支持已更加成熟。这为AI技术的广泛应用开辟了道路,有望将其拓展至更多领域。
高算力AI模组,触手可及的AI
美格智能致力于终端侧AI应用的创新,通过持续升级高算力AI模组的AI硬件,现已拥有从入门级到旗舰级的多层次产品线,包括SNM930、SNM950、SNM960、SNM970、SNM972等系列,覆盖了广泛的AI算力需求。在AI应用场景、性能优化和低功耗编程等领域,美格智能的研发能力领先业界,旗下算力产品广泛应用于智慧零售、智能机器人、智慧交通、智慧农业、智能制造等多个行业,推动了AI驱动的业务创新。
打造SoC阵列服务器,实现AI边缘计算
美格智能基于高算力AI模组SNM972,为客户提供SoC阵列服务器解决方案。此模组采用MiniPCIe封装,支持16GB LPDDR5X + 256GB UFS 4.0内存,兼容多种模型框架,如ONNX、Pytorch、CAFFE、TensorFlowLite等,适用于各类AI场景。方案采用模块化与热插拔设计,支持不停机维护,最高配置可达80路算力模组,每模组内支持Android虚拟化,可虚拟出多计算单元,为实时互动云计算、边缘AI云计算、云渲染等业务提供最佳算力基础。
展望未来,让AI触手可及
美格智能与合作伙伴紧密协作,围绕高算力AI模组打造多样化行业解决方案,旨在缩短大模型与实际应用之间的距离,把握数字经济发展机遇,让AI技术触手可及,推动社会智能化进程。