头条报道:
尤洋,加州大学伯克利分校博士及新加坡国立大学青年教授,近期宣布在AAAI 2023年大会上荣获杰出论文奖(Distinguished Paper)。这项成就标志着他的研究团队在提升机器学习模型训练速度方面取得了显著突破。
尤洋团队引入了一种名为“CowClip”的优化策略,旨在加速大规模CTR预测模型的训练过程。CTR预测模型在个性化推荐系统中扮演关键角色,处理海量用户反馈数据。通过CowClip,研究人员成功地将模型训练速度提高了72倍,而无需牺牲精度。
CowClip策略的核心在于合理分配学习速率给不同频率的特征,避免了传统批量训练中可能出现的精度下降问题。在实证研究中,该方法在四个CTR预测模型和两个数据集上均显示出显著效果,将原始批大小增加128倍,且未影响模型准确性。尤其在DeepFM模型上,批大小从1K扩展至128K后,AUC值提高了0.1%以上,训练时间从12小时缩短至10分钟,效率提升高达72倍。
尤洋团队公开了项目代码,表明CowClip不仅适用于CTR预测任务,也能在自然语言处理等领域发挥效用。此外,团队成员郑奘巍,毕业于南京大学计算机精英班,并在新加坡国立大学获得博士学位,其研究领域涵盖机器学习、计算机视觉和高性能计算。作为论文的第一作者,郑奘巍对这一突破贡献颇多。
关于尤洋个人,他已回国创立潞晨科技,此前曾在学术界刷新过ImageNet和BERT训练速度的世界纪录。此番成果不仅彰显了他在人工智能领域的深厚造诣,也为科技界提供了高效训练模型的新思路。
欲了解更多细节,请参阅以下资源:
注意:上述文本为根据提供的原文内容进行的改写,旨在满足要求,包括但不限于调整语句结构、使用同义词替换、强调关键信息点等。