BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员,三种的主要区别
BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员,三种的主要区别如下:
一、工作内容不同
1、BI工程师:主要是报表开发,负责开发工作。
2、数据库工程师:主要负责业务数据库从设计、测试到部署交付的全生命周期管理。
3、ETL工程师:从事系统编程、数据库编程与设计。
二、要求不同
1、BI工程师:要有一定的数据库经验,掌握SQL查询优化方法,精通Oracle、SQLServer、MySQL等主流数据库的应用设计、性能调优及存储过程的开发。
2、数据库工程师:理解数据备份/恢复与灾难恢复;工具集的使用。
3、ETL工程师:要掌握各百种常用的编程语言。
三、特点不同
1、BI工程师:熟悉ETL逻辑、OLAP设计和数据挖掘相关算法。
2、数据库工程师:凡是关系到数据库质量、效率、成本、安全等方面的工作,及涉及到的技术、组件,都在数据库工程师的技术范畴里。
3、ETL工程师:海量数据的ETL开发,抽取成各种数据需求。
参考资料来源:
百度百科-数据库工程师
百度百科-大数据工程技术人员
大数据工程师和大数据开发工程师的职能有何区别
大数据工程师和大数据开发工程师两者之间没有区别。大数据工程师指的就是大数据开发工程师。大数据工程师(即大数据开发工程师)从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务。
大数据工程师(即大数据开发工程师)的职能如下:
1、大数据采集(爬虫)、大数据清洗(ETL工程师)、大数据建模(算法工程师)与大数据分析(数据分析员)。
2、管理、分析展现及应用等技术(大数据开发工程师)。
3、研究、应用大数据平台体系架构、技术和标准。
4、设计、开发、集成、测试大数据软硬件系统。
5、管理、维护并保障大数据系统稳定运行。
6、监控、管理和保障大数据安全。
7、提供大数据的技术咨询和技术服务。
扩展资料:
大数据工程师(即大数据开发工程师)的技能要求:
1、精通Java技术知识,熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发。
2、了解python/shell等脚本语言。
3、熟悉大数据平台架构,对ETL、数据仓库等有一定了解。
4、有数据可视化、数据分析、数学模型建立相关经验者优先考虑。
5、有爬虫系统开发经验者优先。
ETL工程师是做什么的?
ETL工程师又叫
数据库工程师
。
ETL工程师的主要工作内容有:从事系统编程、数据库编程与设计。ETL是
数据仓库
中的非常重要的一环。它是承前启后的必要的一步。相对于
关系数据库
,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。
所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到
联机分析处理
和数据挖掘的结果的质量。
职业前景
从业务角度讲,随着数据应用的日益丰富,不同平台、系统的相互大批量数据交互成常态,仅仅满足于采集数据已经不适应业务需要,还需要能够为数据的目的端落地提供支撑,ETL工程师需要一个端到端的更适应业务需要的数据交换系统。
从技术角度讲,ETL做一定的扩展可以升级为兼具交换能力,两者有传承,可以实现平滑过渡,但交换却要考虑用另一个工具实现,同时未来大数据平台组件将异常丰富,相互之间的数据交换将是常态,必要要有更高级别的交换工具满足这些需求。