大数据如今已经成为炙手可热的技术名词，随之而来的是与大数据处理相关的职业需求逐渐增加。在国外，这类人才被称为数据科学家（Data Scientist），这个头衔最早由D.J. Patil和Jeff Hammerbacher于2008年提出，他们在LinkedIn和Facebook分别领导了数据科学团队。而在美国，数据科学家已经在电信、零售、金融、制造、物流、医疗和教育等多个行业中发挥重要作用。

然而，在国内，大数据的应用才刚刚起步，市场上对这类人才的需求尚未成熟。正如领英中国商务分析及战略总监王昱尧所言，很难期待一个人能够掌握所有环节，更多公司会根据自身需求招聘能与现有团队互补的人才。

因此，每家公司对大数据工作的具体要求各不相同。有的公司强调数据库编程能力，有的则看重数学和统计学知识，还有一些公司更倾向于招聘有咨询或投资银行背景的人才，或者需要那些懂得产品和市场应用的人才。鉴于此，很多公司会给这类人才赋予新的头衔，例如数据挖掘工程师、大数据专家、数据研究员和用户分析专家等，我们统称为“大数据工程师”。

王昱尧认为，在成熟的以数据驱动的公司中，“大数据工程师”通常是一个团队，负责从数据收集、整理展示、分析到商业洞察，直至市场转化的全过程。这个团队可能包含数据工程师、分析师、产品专员、市场专员和商业决策者等角色，共同实现从原始数据到商业价值的转变。

由于国内大数据领域尚处于起步阶段，人才的价值很大程度上取决于个人能力。专家们指出，大数据工程师应具备计算机编码能力和数学及统计学背景。此外，如果能在某一特定领域或行业内有深入了解，将有助于快速判断并抓住关键因素。虽然高学历（如硕士或博士）对某些大公司而言是一个加分项，但阿里巴巴集团的研究员薛贵荣强调，实际经验和个人对数据的好奇心更为重要。

大数据工程师还需要具备一定的逻辑分析能力，能够迅速识别商业问题的关键属性和决定因素。此外，持续学习的能力可以帮助大数据工程师适应不同的项目，并在短时间内成为该领域的专家；良好的沟通能力则能使他们的工作更加顺利，因为大数据工程师的工作主要分为两种模式：由市场部门驱动和由数据分析部门驱动，前者需要与产品经理频繁沟通，后者则需与运营部门合作。

你可以将这些要求视为成为大数据工程师的方向，因为据万宝瑞华管理合伙人的颜莉萍观察，这是一个巨大的人才缺口。目前，国内的大数据应用大多集中在互联网行业，超过56%的企业正在筹备开展大数据研究。预计未来五年，94%的公司将需要数据科学家。因此，一些原本从事与数据相关工作的人士可以考虑转行。

本文采访了阿里巴巴、腾讯和百度这三家国内互联网巨头以及相关领域的人力资源专家，他们从职业发展的角度为我们解读了如何成为一名大数据工程师以及这一职位的现状。

A. 大数据工程师的工作内容

薛贵荣认为，大数据工程师就是“玩数据”的人，通过“玩”出数据的商业价值，使其转化为生产力。大数据与传统数据的主要区别在于它是在线的、实时的，且规模巨大且形式多样，因此“会玩”这些数据的人至关重要。

沈志勇将大数据比作一座不断累积的矿山，大数据工程师的工作包括定位并抽取信息所在的数据库，然后将其提炼为可以直接使用的数据，并最终应用这些数据。大数据工程师的主要任务包括分析历史、预测未来和优化选择，以帮助企业做出更好的商业决策。

分析历史

大数据工程师的一个重要任务是通过分析历史数据来识别事件的特征。例如，腾讯的数据团队正在搭建一个数据仓库，以梳理公司网络平台上庞杂的数据信息，总结出可供查询的特征，从而支持公司的各种业务需求，如广告投放、游戏开发和社交网络等。

通过对历史数据的分析，企业可以更好地了解消费者。例如，腾讯云计算有限公司北京研发中心总经理郑立峰提到，通过分析用户的历史行为轨迹，可以了解他们的偏好，从而提供个性化的服务或开发新的业务模式。

预测未来

通过引入关键因素，大数据工程师可以预测未来的消费趋势。例如，阿里妈妈的营销平台正在尝试引入气候数据来帮助淘宝卖家更好地经营。薛贵荣举了一个例子：今年夏天不热，可能导致某些产品销量下降，例如空调、电扇、背心和泳装等。因此，他们建立了气候数据和销售数据之间的关系，以便提前警告卖家调整库存。

找出最优解

大数据工程师还可以通过数据分析来达到不同的目的。以腾讯为例，郑立峰提到，通过选项测试（AB Test），大数据工程师可以帮助产品经理在A和B两个备选方案中做出选择。在过去，决策者只能依赖经验，但现在大数据工程师可以通过大规模实时测试来得出结论。

作为电商平台的阿里巴巴，则希望通过大数据锁定目标人群，帮助卖家进行更有效的营销。薛贵荣指出，他们希望找到对产品更感兴趣的潜在客户。例如，一名卖人参的商家最初的目标人群是产妇，但通过大数据分析发现，针对孕妇群体的营销转化率更高。

B. 成为大数据工程师所需的能力

数学和统计学背景

对于大数据工程师而言，数学和统计学背景是非常重要的。据我们采访的BAT三家互联网公司表示，他们希望招聘具备统计学或数学背景的硕士或博士。沈志勇认为，缺乏理论背景的数据工作者可能会陷入技能风险区域。只有具备一定的理论知识，才能正确理解和创新模型，解决实际问题。

编程能力

编程能力是大数据工程师的另一项基本要求。由于许多数据的价值来源于挖掘过程，亲自动手挖掘数据至关重要。例如，社交媒体上的大量记录是非结构化的，如何从中提取有用信息就需要大数据工程师亲自操作。即使在某些团队中，大数据工程师的职责以商业分析为主，也需要熟悉计算机处理大数据的方法。

特定领域的知识

在颜莉萍看来，大数据工程师需要了解特定领域的知识，因为大数据只有与特定领域的应用相结合才能产生价值。因此，在某一垂直行业中的经验对于应聘者来说是非常重要的加分项。例如，对医疗行业了解的人，在思考医疗保险业务时，不仅会考虑医院就诊记录，还会考虑到饮食数据，这些都是基于对该领域的深刻理解。

C. 大数据工程师的职业发展

如何成为大数据工程师

由于大数据人才稀缺，许多公司难以找到合适的候选人。因此，很多企业会选择从外部发掘人才。例如，阿里巴巴曾举办了一次大数据竞赛，吸引了7000多支队伍参赛。通过这种方式，不仅可以激励内部员工，还可以发现外部人才。

颜莉萍建议，目前从事数据库管理、数据挖掘和编程工作的人，以及在工作中需要通过数据进行决策的人，都可以尝试大数据工程师的职位。此外，任何领域中的专家只要学会利用数据，也可以成为大数据工程师。

薪酬待遇

大数据工程师的薪酬待遇十分可观。根据颜莉萍的观察，国内IT、通信、行业招聘中有10%与大数据相关，且这一比例仍在上升。在美国，大数据工程师的平均年薪高达17.5万美元。在中国，顶尖互联网公司的大数据工程师薪酬通常比其他职位高出20%至30%。

职业发展路径

由于大数据人才稀缺，大多数公司的数据部门通常采用扁平化层级结构，大致分为数据分析师、资深研究员和部门总监三个级别。大型公司可能会按应用领域划分不同的团队，而在小型公司，大数据工程师可能需要身兼数职。一些特别强调大数据战略的互联网公司可能会设立首席数据官等高级职位。

大数据工程师不仅需要对数据有深刻的理解，还需要具备商业和产品方面的知识。因此，他们可以选择转向产品部或市场部，甚至上升为公司的高级管理层。数据显示，北上广深等一线城市对大数据人才的需求最为迫切，薪酬也相对较高。

大数据人才市场薪酬报告(2015一季度)

2015年3月，美国白宫任命DJ Patil为全国首位首席数据科学家。这位前PayPal和eBay的高管离开白宫后，致力于帮助美国政府最大限度地投资大数据，并围绕政府机构如何更好地运用大数据提出建议。

美国政府正在快速意识到他们需要新的领导者，引领他们充分利用数据资源。这反映出整个美国都在推动数据科学的发展。据LinkedIn的数据显示，“数据科学家”这一职位的需求量约为36000个。

国内大数据应用刚刚起步，人才市场尚未成熟。许多公司会根据现有资源和短板招聘互补型人才。例如，有的公司强调数据库编程，有的则看重统计学知识，还有一些公司则要求有咨询公司或投行相关经验。因此，出现了许多不同的头衔，如数据挖掘工程师、数据研究员和用户分析专家等。

总的来说，企业对数据人才的需求源于其业务定位。专门的数据公司和大型公司的数据部门拥有完整的数据采集、挖掘、分析和结构化体系。而一般企业大多只需要数据分析师，以提供决策参考和支持。

数据分析相关职位

数据分析师的技能主要包括数据分析（1）、数据挖掘（2）和使用现有工具建模（3）。企业希望数据分析师能够成为多面手，提供业务参考和咨询。以深圳为例，数据分析师（员/专员）的月薪中位数为10375元。数据显示，深圳数据分析在“互联网/电子商务”行业的薪酬最高，为8431元。北上广深是最急缺数据人才的城市，平均薪酬也最高。

数据挖掘相关职位

数据挖掘工程师通常需要3年以上工作经验，一二线城市的中大型企业和数据咨询公司有独立职位。主要技能包括数据挖掘（2）和平台应用（3）。深圳数据挖掘工程师的月薪中位数为15166元，最低工资为8000元，最高为30000元。刚入职的新人起薪约为3500元至5000元。高级数据挖掘工程师的薪水约为30000元至50000元。

数据工程师相关职位

数据工程师的职责复杂，涵盖多种头衔。在深圳，数据工程师的月薪中位数为13156元，最低工资为2000元，最高为30000元。市场需求强烈，尤其是在互联网、房地产和金融行业。职位数量也在逐年增加。

数据架构师相关职位

数据架构师是数据行业的顶端职位，通常由猎头负责招聘。这一职位要求具备软件工程技能、高级算法设计与优化能力，以及垂直行业的经验。深圳数据架构师的月薪中位数约为23700元，最低工资为10000元至15000元，最高工资无法确定，但通常会超过百万。

总结

数据相关的职位涵盖了数据采集、数据挖掘、数据分析和数据结构四大技能。即使在初级职位中，也要求具备一专多能的能力。高级职位则要求每个模块都有深入了解，对统计、编程和行业知识都有很高的要求。未来是数据的时代，也是数据科学家的时代！

希望以上内容对您有所帮助，如果您觉得文章写得不错，请关注我，私信“大数据”获取更多大数据学习资源和开发工具。