导读

本文介绍了机器学习推荐系统在LinkedIn招聘系统中的应用，重点关注了在不同业务场景中推荐系统关注的核心目标。

LinkedIn招聘系统

LinkedIn是全球最受欢迎的招聘平台之一。每天，世界各地的招聘人员都依靠LinkedIn来寻找和筛选合适的求职者。LinkedIn招聘系统旨在帮助招聘人员建立和管理人才库，从而提高成功招聘的可能性。这一系统依赖于一系列复杂的搜索和推荐算法，这些算法采用了先进的机器学习架构和技术。

LinkedIn在机器学习研究和开发方面一直处于领先地位。除了拥有世界上最丰富的大数据集之一，LinkedIn还不断尝试最新的机器学习技术，以提升用户体验。LinkedIn招聘系统的推荐体验需要运用所有的机器学习技能，因为这是一个极具挑战性的任务。除了要处理庞大的数据集，招聘系统还需要处理各种复杂的查询和过滤，并提供符合特定条件的结果。搜索环境是动态变化的，因此很难将其结果建模为机器学习任务。为此，LinkedIn使用了三个关键要素来构建搜索和推荐模型的目标。

目标要素

1. 相关性：搜索结果不仅要与目标职位相关，还要展示对职位感兴趣的候选人。
2. 查询智能：搜索结果不仅要符合特定条件，还应包括相似条件的候选人。例如，搜索“机器学习”时，应返回在技能集中列出“数据科学”的候选人。
3. 个性化：招聘人员通常会根据符合搜索条件的属性来寻找理想候选人。有时，招聘系统不确定使用哪些条件。个性化搜索结果是实现成功搜索和推荐体验的关键因素。

从线性回归到梯度提升决策树

LinkedIn招聘系统的初期搜索和推荐体验基于线性回归模型。尽管线性回归算法易于解释和调试，但它无法在大型数据集中发现非线性相关性。为了改善这种体验，LinkedIn决定采用梯度提升决策树（GBDT），将不同的模型组合成一个更复杂的树结构。GBDT除了拥有更大的假设空间外，还能够很好地处理特征共线性、处理不同范围的特征以及缺失特征值等问题。

与线性回归相比，GBDT带来了显著的改进，但仍然未能完全解决搜索体验中的某些关键问题。例如，在搜索牙医时，系统可能会返回带有软件工程头衔的候选人，因为搜索模型优先选择了求职者。为了改善这一点，LinkedIn增加了一系列基于成对优化技术的上下文感知功能。这种方法扩展了GBDT的成对排序目标，以便在相同上下文中比较候选人，并确定哪个候选人更适合当前搜索上下文。

搜索和推荐挑战

另一个挑战是为应聘者匹配“数据科学家”和“机器学习工程师”等相似头衔。仅仅使用GBDT难以实现这种程度的相关性。为了解决这个问题，LinkedIn引入了基于网络嵌入的表示学习技术，该技术利用语义相似性特征。在这种模型下，搜索结果将根据查询的相关性，由具有相似标签的候选人进行补充。

个性化挑战

可以说，LinkedIn招聘系统面临的最大挑战是个性化。从概念上讲，个性化可以分为两大类：实体级个性化和会话级个性化。实体级个性化侧重于在招聘过程中整合对不同实体的偏好，如招聘人员、联系人、公司和候选人。为了应对这一挑战，LinkedIn采用了广义线性混合模型（GLMix），这是一种著名的统计方法，用于改进预测结果。

另一种个性化模型则更侧重于会话体验。传统的离线学习模型在当前搜索过程中无法考虑到招聘人员提供的反馈。为了解决这个问题，LinkedIn使用了一种称为多臂老虎机的技术，通过根据招聘人员当前的意图来了解哪一组候选人更可取，并根据反馈更新每个技能组中的候选人排名。

结构

LinkedIn招聘人员的搜索和推荐体验是基于一个名为Galene的专有项目，该项目建立在Lucene搜索堆栈之上。前一节中描述的机器学习模型有助于为搜索过程中使用的不同实体建立索引。

排名模型

LinkedIn招聘人员搜索体验的排名模型基于一个具有两个基本层的架构：

1. L1层：挖掘人才库并对候选人进行评分/排名。在此层中，候选人的检索和排序以分布式方式进行。
2. L2层：细化入围人才，使用外部缓存以应用更多的动态特征。

在该架构中，Galene代理系统将搜索查询请求分配到多个搜索索引分区。每个分区检索匹配的文档，并将机器学习模型应用于检索到的候选人。每个分区对候选人的子集进行排序，然后代理收集排序后的候选人并将其返回给联邦器。联邦器使用附加的排序功能对检索到的候选人进行进一步排序，并将结果传递给应用程序。

LinkedIn是大规模构建机器学习系统的领先公司之一。LinkedIn招聘人员使用的推荐和搜索技术与其他行业中的许多相似系统具有高度的相关性。LinkedIn工程团队发布了一份详细的幻灯片，提供了更多关于他们构建世界级推荐系统过程的见解：链接。