领英如何通过Pro-ML提升机器学习效率

人工智能和机器学习在全球范围内持续增长，越来越多非人工智能专业的工程师投身于这项技术的学习和应用。每天都有新的机器学习技术和框架发布。本文将探讨领英如何通过Pro-ML项目规模化应用技术，助力更多工程师提升机器学习效率。

领英的AI技术应用

过去十年，领英利用人工智能技术改善了用户的体验，例如“可能认识的人”功能帮助用户拓展人脉，“动态推送”帮助用户获取相关行业资讯，“招聘搜索”帮助公司更好地招聘人才，“职位推荐系统”则帮助用户找到适合的工作。这些功能均依赖于机器学习技术。

然而，领英发现，过去每个团队都使用不同的AI技术栈开发各自的产品，这使得技术难以共享和协作。为解决这个问题，领英启动了名为“高效机器学习”（Pro-ML）的项目，旨在提升AI工程师的工作效率，加速模型迭代速度，从而提高模型的功能。

Pro-ML的核心工具

Pro-ML项目包含两个重要工具：Feature Marketplace和Health Assurance Layer。Feature Marketplace帮助工程师生成、共享和管理新特征，而Health Assurance Layer则持续监控模型的状态，确保在线和离线特征的一致性，从而保障模型的稳定运行。

探索与授权

建模过程始于对问题的探索，工程师需要确定目标函数、特征、数据等。为此，领英开发了集成Pro-ML内核的Jupyter Notebook，使工程师可以在线进行数据探索、特征选择和模型绘制。此外，领英还构建了一种领域特定语言（DSL）——Quasar，简化了特征转换的过程，使工程师能够更专注于新特征的实验。

多种工具高效协助模型训练

特征工程是AI建模的核心。为了提高特征生成和管理的效率，领英开发了Feature Marketplace。这个平台不仅让工程师可以共享特征，还能提供一系列工具来帮助选择和监控特征。此外，领英还构建了Frame平台，确保离线和在线特征的一致性。

算法与模型部署

领英支持多种算法，包括深度学习、决策树算法和GLMix模型。在模型训练和部署阶段，领英利用Photon Connect训练引擎，将所有组件无缝连接。模型训练完成后，Health Assurance Layer会持续监控模型的状态，确保其稳定运行。

Pro-ML团队与未来展望

经过十年的发展，领英已经将人工智能团队与产品团队紧密联系在一起，形成了Pro-ML团队。该团队由多个工程师组成，分布在世界各地，致力于推动机器学习项目的进展。领英希望通过Pro-ML项目，增加可以应用人工智能的产品数量，扩展可以培训和部署模型的团队数量，从而实现更高的效率和可操作性。

从2014年开始，领英在中国不断探索，构建了一支超过百人的本土研发团队。未来，领英将继续依靠AI和大数据技术，优化用户体验，为用户提供更好的服务。