梦晨报道：开源大模型新成果——“原驼”引领技术革新

开源大模型的最新突破

华盛顿大学的“原驼”（Guanaco）模型，作为羊驼家族的重要成员，以其在自动测试中的出色表现，达到了与ChatGPT几乎相同的水平，得分高达99.3%。这一成就不仅展示了开源大模型的最新成果，更是对微调大模型技术的一次重要革新。

降低显存需求的关键突破

与“原驼”一同推出的QLoRA方法，成功将微调大模型所需的显存需求从庞大的780GB降低到了更低的水平，这一创新极大地提高了大模型的可部署性和实用性，尤其是对于资源有限的设备而言。

社区反响热烈

开源社区对这一成果给予高度认可，相关论文在发布后的24小时内成为AI领域的焦点，吸引了大量关注。Meta的美洲驼LLaMA作为基础，原驼模型展现出惊人的能力，其650亿参数版本只需48GB显存即可在单卡上完成24小时的微调，而330亿参数版本则只需24GB显存，耗时12小时。

用户体验反馈

众多用户在尝试后表示，他们更倾向于使用原驼模型，而非ChatGPT，这进一步证明了“原驼”在用户体验方面的卓越表现。

专家赞誉与展望

Meta的科学家Jim Fan博士评价称，“原驼”标志着大型模型小型化的重要里程碑。预计未来开源AI社区将围绕扩大模型规模后再进行精简的趋势发展。

高效微调方法QLoRA

“原驼”背后的核心贡献是QLoRA方法，它巧妙地结合了量化技术与LoRA方法，通过引入新的数据类型、优化器设计和双重量化策略，使得4位量化模型在所有测试场景和规模下均能达到与16位模型相当的性能水平。这一方法显著提高了模型的微调效率，甚至可以在小型GPU集群上实现每天多次微调。

手机端应用潜力

研究团队预测，QLoRA的高效性使其适用于移动设备，例如iPhone 12 Plus，理论上每晚可以微调约300万个单词的数据量，这意味着未来的手机应用将能够搭载专用大模型，提供更加个性化和高效的交互体验。

结语

“原驼”及其背后的QLoRA方法不仅推动了大模型技术的前沿发展，也为开源AI社区带来了新的活力与可能性。随着技术的持续进步，我们期待看到更多创新应用的涌现，为用户带来更加智能、便捷的数字服务体验。