「大数据失业」大数据开发:成为大数据高级工程师都有哪些要求?
作者头像
  • 蕾学姐
  • 2019-09-04 14:28:07 9

大数据平台研发高级工程师

工作职责:

  1. 构建公司大数据平台,提供稳定且易于操作的大数据工具和直观的数据产品。
  2. 设计、开发和维护大数据工具链。
  3. 开发数据产品,挖掘数据的商业潜力。
  4. 持续优化大数据平台工具和数据产品,推动大数据平台的进步。

岗位要求:

  1. 全日制本科及以上学历,6年以上工作经验,具备扎实的Java基础,熟悉JavaSpring和大型系统架构,精通分布式系统的设计与应用。
  2. 熟悉Hadoop、Hbase、Hive、Kylin、Impala、Spark、Flink、Flume、Storm、Druid等大数据框架,了解其原理和机制。
  3. 具备清晰的逻辑分析能力和表达能力,热衷技术分享,对行业发展有自己的见解。
  4. 有大数据平台建设经验者优先。
  5. 良好的沟通能力,能够自我驱动。

大数据研发高级工程师

工作职责:

  1. 设计和开发分布式大数据应用平台,涵盖数据服务接口系统、画像系统、多维分析系统、实时处理系统等。
  2. 负责推荐引擎平台相关模块的开发。
  3. 对数据系统后台存储和计算进行优化。

任职要求:

  1. 计算机相关专业本科及以上学历,五年以上开发经验,扎实的计算机理论基础。
  2. 熟练掌握至少一种编程语言,如Java、Golang、PHP、C++。
  3. 具备海量实时数据处理平台建设经验者优先。
  4. 熟练掌握常用算法和数据结构,有搜索引擎或推荐系统相关经验者优先。
  5. 熟悉数据仓库体系构建者优先。
  6. 熟练使用Hadoop、Spark、Flink、Druid等组件,有相关项目经验者优先。

大数据高级工程师

岗位职责:

  1. 负责大数据管理平台的设计与开发。
  2. 进行大数据平台相关组件的二次开发。
  3. 设计与开发数据仓库的ETL流程。

任职要求:

  1. 本科以上学历,计算机或数学相关专业。
  2. 3年以上大数据开发经验,熟悉大数据开发全流程。
  3. 精通Java,熟练使用Shell脚本。
  4. 至少掌握Hadoop、Hive、Spark、Presto、Oozie等开源大数据技术中的两种。
  5. 团队协作精神强,具备较强自主驱动力、抗压能力和解决问题的能力。
  6. 有团队管理经验者优先。

大数据后端开发高级工程师

工作职责:

  1. 设计并开发大规模实时系统。
  2. 参与复杂分布式系统的开发、维护和优化。
  3. 解决高性能、高并发、高可用性等技术难题。

岗位要求:

  1. 计算机相关专业,至少5年开发经验,精通至少一种后端语言,如Python、Golang。
  2. 扎实的编程基础,熟悉常用数据结构和算法,了解分布式算法。
  3. 熟练使用MySQL和常用的NoSQL数据库。
  4. 理解Linux系统原理,包括I/O栈、文件系统、网络协议栈等。
  5. 熟悉分布式理论及其应用。
  6. 熟练掌握微服务设计思想,并有实践经验。
  7. 熟练使用Docker及相关工具链。
  8. 有线上问题解决和系统性能优化的经验。
  9. 具备较强的文献阅读和算法实现能力。
  10. 良好的团队合作和沟通能力。
  11. 有海量用户系统开发经验、开源社区参与者和贡献者、了解机器学习算法者优先。
  12. 熟悉Hadoop、Spark、Kubernetes等开源分布式系统者优先。

大数据工程师

工作职责:

  1. 参与搜索数据平台的架构和规划。
  2. 参与数据仓库的建模和开发,满足业务各端对数据的需求。

任职要求:

  1. 至少两年数据仓库领域经验,熟悉数据仓库模型设计与ETL开发,有海量数据加工处理(ETL)经验。
  2. 具备一定的数据模型和数据架构基础,熟悉Hadoop、Hive和常用数据库,了解云计算和数据服务。
    本文来源:图灵汇
责任编辑: : 蕾学姐
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
数据高级工程师失业哪些要求成为开发
    下一篇