在2023年9月7日举行的腾讯全球数字生态大会上,腾讯公司宣布了其自主研发的通用大语言模型——腾讯混元大模型的正式面世。这一突破性成果不仅标志着腾讯在大模型领域的重要进展,同时也是对语言处理技术的一次深刻革新。
自2021年起,腾讯便启动了对大规模参数模型的研究,经过数年的不懈努力与自主研发,现已掌握从算法设计、机器学习框架构建到AI基础设施建设的全链条核心技术。混元大模型正是这一长期投入与技术创新的结晶。
混元大模型采用了多项创新技术,如预训练“探真”技术、动态锯齿状注意力机制、位置编码优化及原创思维链策略,有效降低了事实幻觉率达30%-50%,并使模型具备了识别问题陷阱的能力。这不仅提升了模型的准确性,还使其能够结合实际应用场景进行高效推理与决策。
为了进一步提升模型效能,腾讯自主研发了机器学习框架Angel,显著提高了训练速度与推理效率。相较于业界主流框架,训练速度提升1倍,推理速度提升1.3倍,极大增强了模型的实用性与响应速度。
混元大模型在多项关键指标上表现出色。在由中国信通院制定的《大规模预训练模型技术和应用的评估方法》标准中,其在“模型开发”和“模型能力”领域均获得最高评分。在MMLU、CEval和AGI-eval等主流评测集中,混元大模型展现了卓越性能,尤其在中文理科、高考题和数学等领域展现出色表现。
作为一款源自实践、服务于实践的实用级大模型,腾讯混元不仅展示了其在大模型领域的技术实力与创新能力,更体现了腾讯在人工智能技术落地应用上的深度探索。通过与产业数据和具体场景紧密结合,混元大模型为解决产业面临的挑战提供了新颖思路与解决方案,助力产业智能化升级。
腾讯混元大模型的发布,不仅标志着中国在大模型研发领域的又一重大突破,也预示着人工智能技术将在更多领域实现广泛应用,推动社会经济的智能化转型。随着混元大模型的进一步发展与优化,我们有理由期待其在解决复杂问题、促进产业升级、提升人类生活品质等方面发挥更大的作用。