## Hadoop Engineer介绍
### 简介
任职资格包含计算机相关专业背景，掌握Hadoop生态系统组件（HDFS/YARN/HBase/Hive），具备Java/Python/Scala开发能力，了解分布式系统原理。需熟悉Linux环境及Shell脚本开发，有大规模数据处理项目经验者优先。
### 职业方向
初级→中级→高级Hadoop工程师→大数据架构师→首席数据科学家；可横向发展至数据仓库工程师、Spark开发工程师、实时计算平台专家等方向。5年以上经验可转型为技术管理岗（如数据平台总监）或独立技术顾问。
### 核心技能
Hadoop集群部署与调优、MapReduce编程、数据分片与容错机制、HDFS存储优化、YARN资源调度、HBase Hive数据建模、ZooKeeper协调服务、数据管道开发、ETL流程设计
### 相关技能
[Spark Streaming](https://s.niuqizp.com/s_campus_Spark%20Streaming/?ur=article)， [Flink](https://s.niuqizp.com/s_campus_Flink/?ur=article)， [Storm](https://s.niuqizp.com/s_campus_Storm/?ur=article)， [Kafka](https://s.niuqizp.com/s_campus_Kafka/?ur=article)， [Presto](https://s.niuqizp.com/s_campus_Presto/?ur=article)， [Alluxio](https://s.niuqizp.com/s_campus_Alluxio/?ur=article)， [TensorFlow（大数据机器学习方向）](https://s.niuqizp.com/s_campus_TensorFlow%EF%BC%88%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%96%B9%E5%90%91%EF%BC%89/?ur=article)
### 相关专业
[计算机科学与技术](https://s.niuqizp.com/s_campus_%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A7%91%E5%AD%A6%E4%B8%8E%E6%8A%80%E6%9C%AF/?ur=article)， [软件工程](https://s.niuqizp.com/s_campus_%E8%BD%AF%E4%BB%B6%E5%B7%A5%E7%A8%8B/?ur=article)， [信息工程](https://s.niuqizp.com/s_campus_%E4%BF%A1%E6%81%AF%E5%B7%A5%E7%A8%8B/?ur=article)， [电子工程](https://s.niuqizp.com/s_campus_%E7%94%B5%E5%AD%90%E5%B7%A5%E7%A8%8B/?ur=article)， [大数据管理与应用](https://s.niuqizp.com/s_campus_%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8/?ur=article)
### 相关证书
Cloudera CCA175认证、AWS Certified Big Data - Specialty、Microsoft Azure Data Engineer Associate、Oracle认证Java专家
### 相关岗位
[大数据开发工程师](https://s.niuqizp.com/s_campus_%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%BC%80%E5%8F%91%E5%B7%A5%E7%A8%8B%E5%B8%88/?ur=article)， [数据仓库工程师](https://s.niuqizp.com/s_campus_%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E5%B7%A5%E7%A8%8B%E5%B8%88/?ur=article)， [分布式系统架构师](https://s.niuqizp.com/s_campus_%E5%88%86%E5%B8%83%E5%BC%8F%E7%B3%BB%E7%BB%9F%E6%9E%B6%E6%9E%84%E5%B8%88/?ur=article)， [实时计算工程师](https://s.niuqizp.com/s_campus_%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%B7%A5%E7%A8%8B%E5%B8%88/?ur=article)， [数据平台运维专家](https://s.niuqizp.com/s_campus_%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E8%BF%90%E7%BB%B4%E4%B8%93%E5%AE%B6/?ur=article)
### 求职建议
应届生建议：1) 完成3个以上Hadoop生态实战项目（如GitHub开源贡献）2) 考取Cloudera认证工程师（CCA175）3) 参与Kaggle竞赛积累数据处理经验 4) 研读《Hadoop权威指南》等技术书籍 5) 关注数据湖架构等前沿技术趋势
