与大数据相关的工作职位有哪些
说个大概吧
大数据开发工程师
:负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等;
数据分析师
:进行数据搜集、整理、分析,针对数据分析结论给管理销售运营提供指导意义的分析意见;
数据挖掘工程师
:商业智能,用户体验分析,预测流失用户等;需要过硬的数学和统计学功底以外,对算法的代码实现也有很高的要求。
数据库开发
:设计,开发和实施基于客户需求的数据库系统,通过理想接口连接数据库和数据库工具,优化数据库系统的性能效率等;
数据管理
:数据库设计、数据迁移、数据库性能管理、数据安全管理,故障检修问题、数据备份、数据恢复等;
数据科学家:
清洗,管理和组织(大)数据,利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换;
数据产品经理
:把数据和业务结合起来做成数据产品。
大数据工程师和大数据开发工程师的职能有何区别
大数据工程师和大数据开发工程师两者之间没有区别。大数据工程师指的就是大数据开发工程师。大数据工程师(即大数据开发工程师)从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务。
大数据工程师(即大数据开发工程师)的职能如下:
1、大数据采集(爬虫)、大数据清洗(ETL工程师)、大数据建模(算法工程师)与大数据分析(数据分析员)。
2、管理、分析展现及应用等技术(大数据开发工程师)。
3、研究、应用大数据平台体系架构、技术和标准。
4、设计、开发、集成、测试大数据软硬件系统。
5、管理、维护并保障大数据系统稳定运行。
6、监控、管理和保障大数据安全。
7、提供大数据的技术咨询和技术服务。
扩展资料:
大数据工程师(即大数据开发工程师)的技能要求:
1、精通Java技术知识,熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发。
2、了解python/shell等脚本语言。
3、熟悉大数据平台架构,对ETL、数据仓库等有一定了解。
4、有数据可视化、数据分析、数学模型建立相关经验者优先考虑。
5、有爬虫系统开发经验者优先。
ETL工程师是做什么的?
ETL工程师又叫
数据库工程师
。
ETL工程师的主要工作内容有:从事系统编程、数据库编程与设计。ETL是
数据仓库
中的非常重要的一环。它是承前启后的必要的一步。相对于
关系数据库
,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。
所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到
联机分析处理
和数据挖掘的结果的质量。
职业前景
从业务角度讲,随着数据应用的日益丰富,不同平台、系统的相互大批量数据交互成常态,仅仅满足于采集数据已经不适应业务需要,还需要能够为数据的目的端落地提供支撑,ETL工程师需要一个端到端的更适应业务需要的数据交换系统。
从技术角度讲,ETL做一定的扩展可以升级为兼具交换能力,两者有传承,可以实现平滑过渡,但交换却要考虑用另一个工具实现,同时未来大数据平台组件将异常丰富,相互之间的数据交换将是常态,必要要有更高级别的交换工具满足这些需求。