「大数据失业」大数据开发:成为大数据高级工程师都有哪些要求?
大数据平台研发高级工程师
工作职责:
- 构建公司大数据平台,提供稳定且易于操作的大数据工具和直观的数据产品。
- 设计、开发和维护大数据工具链。
- 开发数据产品,挖掘数据的商业潜力。
- 持续优化大数据平台工具和数据产品,推动大数据平台的进步。
岗位要求:
- 全日制本科及以上学历,6年以上工作经验,具备扎实的Java基础,熟悉JavaSpring和大型系统架构,精通分布式系统的设计与应用。
- 熟悉Hadoop、Hbase、Hive、Kylin、Impala、Spark、Flink、Flume、Storm、Druid等大数据框架,了解其原理和机制。
- 具备清晰的逻辑分析能力和表达能力,热衷技术分享,对行业发展有自己的见解。
- 有大数据平台建设经验者优先。
- 良好的沟通能力,能够自我驱动。
大数据研发高级工程师
工作职责:
- 设计和开发分布式大数据应用平台,涵盖数据服务接口系统、画像系统、多维分析系统、实时处理系统等。
- 负责推荐引擎平台相关模块的开发。
- 对数据系统后台存储和计算进行优化。
任职要求:
- 计算机相关专业本科及以上学历,五年以上开发经验,扎实的计算机理论基础。
- 熟练掌握至少一种编程语言,如Java、Golang、PHP、C++。
- 具备海量实时数据处理平台建设经验者优先。
- 熟练掌握常用算法和数据结构,有搜索引擎或推荐系统相关经验者优先。
- 熟悉数据仓库体系构建者优先。
- 熟练使用Hadoop、Spark、Flink、Druid等组件,有相关项目经验者优先。
大数据高级工程师
岗位职责:
- 负责大数据管理平台的设计与开发。
- 进行大数据平台相关组件的二次开发。
- 设计与开发数据仓库的ETL流程。
任职要求:
- 本科以上学历,计算机或数学相关专业。
- 3年以上大数据开发经验,熟悉大数据开发全流程。
- 精通Java,熟练使用Shell脚本。
- 至少掌握Hadoop、Hive、Spark、Presto、Oozie等开源大数据技术中的两种。
- 团队协作精神强,具备较强自主驱动力、抗压能力和解决问题的能力。
- 有团队管理经验者优先。
大数据后端开发高级工程师
工作职责:
- 设计并开发大规模实时系统。
- 参与复杂分布式系统的开发、维护和优化。
- 解决高性能、高并发、高可用性等技术难题。
岗位要求:
- 计算机相关专业,至少5年开发经验,精通至少一种后端语言,如Python、Golang。
- 扎实的编程基础,熟悉常用数据结构和算法,了解分布式算法。
- 熟练使用MySQL和常用的NoSQL数据库。
- 理解Linux系统原理,包括I/O栈、文件系统、网络协议栈等。
- 熟悉分布式理论及其应用。
- 熟练掌握微服务设计思想,并有实践经验。
- 熟练使用Docker及相关工具链。
- 有线上问题解决和系统性能优化的经验。
- 具备较强的文献阅读和算法实现能力。
- 良好的团队合作和沟通能力。
- 有海量用户系统开发经验、开源社区参与者和贡献者、了解机器学习算法者优先。
- 熟悉Hadoop、Spark、Kubernetes等开源分布式系统者优先。
大数据工程师
工作职责:
- 参与搜索数据平台的架构和规划。
- 参与数据仓库的建模和开发,满足业务各端对数据的需求。
任职要求:
- 至少两年数据仓库领域经验,熟悉数据仓库模型设计与ETL开发,有海量数据加工处理(ETL)经验。
- 具备一定的数据模型和数据架构基础,熟悉Hadoop、Hive和常用数据库,了解云计算和数据服务。
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
下一篇
田燕妮
2019-09-04