Lamini公司创新方法，大幅减少大语言模型的幻觉问题

大语言模型因其庞大的参数量和在非结构化语言数据上的训练而成为行业焦点，然而，这些模型在准确性方面面临一个重大挑战——幻觉问题。本周，初创公司Lamini发表了一篇论文，展示了其在减少大语言模型幻觉问题上的新方法，成功将幻觉减少至95%。

Lamini，由Sharon Zhou(Andrew Ng团队的生成式AI教授、MIT获奖生成式AI研究者、Coursera最大规模生成式AI课程讲师)和Greg Diamos(NVIDIA/CUDA架构师、拥有超过14000次引用、AI扩展法则和ML Perf联合创始人)共同创立。Lamini致力于提供大语言模型微调服务，是业界最早的此类服务提供商之一。不同于侧重使用NVIDIA Tensor Core架构的公司，Lamini偏好采用AMD Instinct MI200/MI300 GPU。在完成2024年初的A轮融资后，Lamini获得了2500万美元资金，主要投资者包括Amplify Partners和First Round Capital，此外还有Lip-Bu Tan、Andrej Karpathy和Andrew Ng的支持。Lamini已与《财富》500强企业合作，提供基于每GPU授权的中间层软件和云推理服务。

幻觉问题解析

大语言模型属于生成式AI范畴，能够根据提示生成相应的语言输出。尽管这些模型在概念解释上表现出色，但在处理特定事实问题时却常常出现偏差。幻觉问题不仅存在于大型模型中，而且是生成式AI固有的特性，可能导致模型提供错误信息或在模型内部空间中构建不存在的关系，从而产生错误输出。

Lamini的解决策略

Lamini提出了一种名为“记忆调优”的创新方法，旨在减少大语言模型的幻觉问题，显著提高了准确性。此方法以一种激进的方式将特定数据嵌入到小型模型中，通过100倍于微调的速度进行数据优化。每个专家模块在调节器的引导下进行优化，这种方法创建了一个包含“百万专家混合体”的模型，即MoME(Memory Expert Mixture)，使得模型能够精准记住特定领域的知识，从而大幅度减少幻觉问题。

技术与计算考量

传统机器学习理论对过度拟合数据持有谨慎态度，担心这会影响模型的通用推理能力。然而，Lamini的方法表明，通过将特定领域的知识过拟合到模型中，不仅不会损害模型的通用推理能力，反而可能提高特定领域的准确性，且对模型整体的计算需求影响较小。这为低亿参数模型在边缘设备上的应用提供了可能。

市场影响与应用

Lamini的方法已在多个财富500强客户中得到实施，特别是在文本到SQL代码生成任务上，其幻觉问题降低了10倍。这一成果预示着Lamini的解决方案有望对市场产生深远影响，尤其是对于需要特定领域知识的应用场景。随着AI领域的持续发展，Lamini的创新方法不仅解决了当前的幻觉问题，也为未来机器学习计算模式的演进提供了新的方向。

重要声明

请注意，本文内容源自外部来源，旨在提供信息概述而非详细分析或推荐。任何引用或提及的具体技术、公司或产品均不构成投资建议或承诺。在使用或参考本文内容时，请务必进行独立验证和评估。