云端与端侧模型的竞争格局

随着时间的推移，至2024年，云端大模型的较量似乎还未决出胜负，而端侧模型领域已呈现出激烈的竞争态势。

去年初，谷歌推出了PaLM2的轻量级版本“壁虎”，这款模型能够在移动设备上离线运行，标志着端侧模型的首次冲锋。年底，端侧模型的时代正式拉开帷幕。法国创企Mistral AI率先发布Mixtral 8x7B模型，微软则在短短半年内加速发展，从27亿参数的Phi-2跃升至SLM（小语言模型）Phi-3系列，以“成本效益更高”的优势强调其性价比。

Google携Gemma模型向Meta的Llama-2大模型发起了挑战，而苹果也通过推出“小型模型”家族，向着“使人工智能在苹果设备上实现本地运行”的目标迈进了一步。在中国上海张江，另一家通用大模型厂商正驶向端侧模型的快车道，以类脑分区激活的工作机制和优化反向传播算法实现“同步学习”，并在多模态领域中引领潮流。

破局之举：Yan 1.2在树莓派上的成功

今年1月，国内首个非Attention机制的通用自然语言大模型——Yan1.0模型的发布，标志着向设备端迈出的关键一步。该模型100%支持私有化部署应用，无需裁剪和压缩即可在主流消费级CPU等端侧设备上运行。研究人员在Mac笔记本上展示了Yan 1.0模型的运行推理，描绘了在更便携设备中实现无损部署的前景。

随着Yan 1.0进入1.2阶段，其在树莓派上的成功运行，将原本的预期变为现实，展示了低算力设备的无损适配可能性。树莓派，作为全球知名的小型高性能微型电脑，广泛应用于物联网、工业自动化、智慧农业等多个领域。尽管面临不小的挑战，尤其是许多大模型玩家倾向于采用“有损压缩”的策略，但RockAI基于底层技术的“破坏式”创新优势得以凸显。

创新驱动：Yan架构的革新

不同于传统Transformer模型的局限，Yan架构专为低算力设备设计，其1.0版本在百亿级参数上达到了媲美千亿参数大模型的性能效果，同时实现了记忆能力提升3倍、训练效率提升7倍及推理吞吐量的5倍增长，实现了云端运行的高性价比。

“同步学习”理念的探索

RockAI正致力于解决云端大模型在实践中的实时改进和学习难题。通过技术创新，他们提出了“同步学习”的概念，旨在让模型在部署后能够实时、有效且持续性地提升智能水平，以适应个性化场景中的问题。

前瞻布局：迈向C端的商业化

随着技术的加速发展，RockAI已进入2.0阶段的筹备，计划在今年底发布。这一版本将集成全模态支持、实时人机交互和同步学习功能，有望弥补具身智能领域的关键短板。算法创新与工程团队的紧密合作，以及与硬件和芯片厂商的深度沟通，为Yan 2.0的商业化落地奠定了坚实的基础。

结语

在端侧模型的竞争中，RockAI通过技术创新和战略布局，正逐步构建其独特的竞争优势。从Yan 1.0到Yan 2.0的迭代，不仅展现了公司在大模型领域的深厚积累，也为未来的AI与本地设备融合提供了新的思路。随着Yan系列模型的持续进化，RockAI正向着构建“通用人工智能”的愿景迈进，旨在为不同设备提供高度适应性和个性化的交互体验。