Hadoop工程师岗位简介
Hadoop工程师负责设计、构建和维护分布式计算基础设施,评估数据解决方案的大数据工程师。
Hadoop工程师岗位职责
收集业务部门数据,分析业务需求,制定 Hadoop 设计方案和开发计划负责大数据平台 Hadoop 的日常开发和维护工作
参与大数据系统运维,处理平台稳定性等问题,为 Hadoop开发者提供技术支持
研究、优化 Hadoop、Spark、Hbase、Hive等开源项目中的数据,提升产品性能
测试脚本并分析结果,诊断故障原因,维护数据安全
Hadoop工程师岗位要求
1.精通hadoop,yarn,mapreduce,hive,hbase
2.有海量数据统计分析经验,有hadoop大型集群开发维护经验(维护超过50台hadoop集群)者优先
3.精通java,jvm
4.熟悉多线程,网络编程,并行计算;熟悉linux操作系统等;熟悉pythson,shell脚本语言;熟悉设计模式
Hadoop工程师发展前景
hadoop是云计算的基础。绝大部分的云计算中的分布式存储和计算都是使用hadoop的。简单的理解的话,云计算是系统工程的蓝图,hadoop是基础层面的重要的必不可少的工具。并且,云计算在国家十二五规划中也有重要章节讨论,全国各省市都有自己的云计算发展规划。云计算已经被提高到国家中长期发展战略规划中,大家可以想象以后hadoop和云计算的岗位有多少。正