人工智能和机器学习作为全球快速发展的领域，吸引了越来越多的非专业人士投身其中。这些人努力学习并应用这些技术，不断推出新的机器学习工具和框架。本文将探讨领英如何通过规模化应用技术，助力更多工程师提高机器学习的效率。

最近，领英中国机器学习研发经理李子在IEEE数据挖掘国际会议上分享了领英如何规模化实施机器学习，介绍了领英的核心产品及其技术应用，旨在提升工程师的机器学习效率。

提升机器学习效率的Pro-ML项目

过去十年，领英利用人工智能技术提升了用户和客户的体验，例如“认识的人”推荐、“职业发展建议”推送、“行业资讯”推荐和“职位推荐”系统。这些功能均得益于机器学习技术的应用。

然而，过去每个团队都采用不同的AI技术堆栈开发自己的产品，这导致难以实现规模化应用。因此，领英希望在引入新工程师或开发新技术时，尽量减少大家的负担。此外，许多从事人工智能的人并非专业出身，领英的AI基础设施对他们来说过于复杂，难以有效应用。

为了解决这些问题，领英推出了名为“Productive Machine Learning”（高效机器学习）的项目，简称Pro-ML。Pro-ML的目标是将AI工程师的工作效率提高一倍，使他们能够更轻松、更高效地构建模型。通过Pro-ML，领英希望实现从模型探索和构建到训练、部署、运行及持续监控的一体化流程，从而减少重复劳动，提高效率。

Pro-ML的关键工具

Pro-ML包含两个贯穿整个流程的关键工具：Feature Marketplace和Health Assurance Layer。

Feature Marketplace 是一个用于生成、共享和管理特征的平台。领英拥有大量的特征工程师，通过Feature Marketplace，工程师可以更高效地生成和管理特征，从而提高工作效率。

Health Assurance Layer 则在整个开发周期中持续监控模型性能。例如，它确保离线特征和在线特征在统计意义上一致，从而保证模型的良好功能。如果检测到异常，Health Assurance Layer会自动提醒工程师进行调试。

Pro-ML的第一步：探索与授权

建模过程始于对问题的探索。领英通过集成Pro-ML内核的Jupyter Notebook，帮助工程师进行数据探索、特征选择和模型绘制。Jupyter Notebook由领英的Spark集群提供计算资源，使工程师无需下载数据即可在线完成工作，提高了工作效率并保护了用户隐私。

为了定义模型，领英还开发了一种领域特定语言（DSL），称为Quasar。Quasar简化了特征转换的过程，使工程师可以专注于新特征或特征组合的实验，而不必编写大量重复代码。此外，Quasar使得离线训练的模型可以直接部署到线上，简化了模型从离线到在线的过渡。

多种工具高效协助模型训练

模型训练的关键在于特征和算法的选择。领英通过Feature Marketplace使工程师能够更高效地生成、发现、共享和管理特征。Feature Marketplace不仅提供了特征搜索功能，还提供了一系列实用工具，帮助工程师选择和监控特征。

然而，确保在线和离线特征的一致性是一个挑战。为此，领英开发了一个工具称为Frame。Frame通过统一的配置和公共库生成特征，确保了在线和离线特征的一致性。

在算法方面，领英支持多种算法，包括深度学习、决策树算法和GLMix模型。领英使用TensorFlow进行深度学习，使用XGBoost进行决策树算法，并自主研发了Photon库用于GLMix模型。这些算法显著提高了领英职位推荐系统的性能，增加了职位请求的数量。

健康保障层确保算法顺利运行

模型训练和部署完成后，最后一个挑战是如何确保模型在实际运行中保持正常。领英的Health Assurance Layer提供了一系列工具，用于持续监控和验证。通过这些工具，工程师可以迅速锁定问题，确保模型的稳定运行。

领英的机器学习与Pro-ML团队

经过十年的发展和实验，领英将人工智能团队与产品团队紧密联系在一起，使机器学习团队能够与其他解决相似难题的专家合作并分享最佳实践。

Pro-ML团队围绕五个主要支柱构建，每个支柱都支持模型开发生命周期的一个阶段。这些工程师来自各个组织，包括产品工程组织、基础/工具组织和基础架构团队。Pro-ML团队遍布世界各地，包括班加罗尔、欧洲和美国多个地方。领英还拥有一支指导团队，负责制定项目愿景，消除摩擦，使每个支柱能够独立运作。

Pro-ML不仅增加了可以应用人工智能的产品数量，还扩展了可以培训和部署模型的团队数量。此外，它减少了模型选择、部署等所需的时间，并使Health Assurance等关键领域自动化。领英已经花费了一年多的时间改造人工智能，使其更加高效和可操作，扩展到所有工程领域。这使得工程师能够专注于他们最擅长的事情：利用领英独特的高度结构化的数据集，为棘手的技术问题找到创造性的解决方案。