首页 > 简历攻略 > ETL工程师是做什么的?

ETL工程师是做什么的?

2024-01-09 09:14:05

ETL工程师是做什么的?

BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员,三种的主要区别

BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员,三种的主要区别如下:

一、工作内容不同

1、BI工程师:主要是报表开发,负责开发工作。

2、数据库工程师:主要负责业务数据库从设计、测试到部署交付的全生命周期管理。

3、ETL工程师:从事系统编程、数据库编程与设计。

二、要求不同

1、BI工程师:要有一定的数据库经验,掌握SQL查询优化方法,精通Oracle、SQLServer、MySQL等主流数据库的应用设计、性能调优及存储过程的开发。

2、数据库工程师:理解数据备份/恢复与灾难恢复;工具集的使用。

3、ETL工程师:要掌握各百种常用的编程语言。

三、特点不同

1、BI工程师:熟悉ETL逻辑、OLAP设计和数据挖掘相关算法。

2、数据库工程师:凡是关系到数据库质量、效率、成本、安全等方面的工作,及涉及到的技术、组件,都在数据库工程师的技术范畴里。

3、ETL工程师:海量数据的ETL开发,抽取成各种数据需求。

参考资料来源:

百度百科-数据库工程师

百度百科-大数据工程技术人员

ETL工程师是做什么的?

大数据工程师和大数据开发工程师的职能有何区别

大数据工程师和大数据开发工程师两者之间没有区别。大数据工程师指的就是大数据开发工程师。大数据工程师(即大数据开发工程师)从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务。

大数据工程师(即大数据开发工程师)的职能如下:

1、大数据采集(爬虫)、大数据清洗(ETL工程师)、大数据建模(算法工程师)与大数据分析(数据分析员)。

2、管理、分析展现及应用等技术(大数据开发工程师)。

3、研究、应用大数据平台体系架构、技术和标准。

4、设计、开发、集成、测试大数据软硬件系统。

5、管理、维护并保障大数据系统稳定运行。

6、监控、管理和保障大数据安全。

7、提供大数据的技术咨询和技术服务。

扩展资料:

大数据工程师(即大数据开发工程师)的技能要求:

1、精通Java技术知识,熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发。

2、了解python/shell等脚本语言。

3、熟悉大数据平台架构,对ETL、数据仓库等有一定了解。

4、有数据可视化、数据分析、数学模型建立相关经验者优先考虑。

5、有爬虫系统开发经验者优先。

ETL工程师是做什么的?

ETL工程师是做什么的?

ETL工程师又叫 数据库工程师

ETL工程师的主要工作内容有:从事系统编程、数据库编程与设计。ETL是 数据仓库 中的非常重要的一环。它是承前启后的必要的一步。相对于 关系数据库 ,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。

所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到 联机分析处理 和数据挖掘的结果的质量。

职业前景

从业务角度讲,随着数据应用的日益丰富,不同平台、系统的相互大批量数据交互成常态,仅仅满足于采集数据已经不适应业务需要,还需要能够为数据的目的端落地提供支撑,ETL工程师需要一个端到端的更适应业务需要的数据交换系统。

从技术角度讲,ETL做一定的扩展可以升级为兼具交换能力,两者有传承,可以实现平滑过渡,但交换却要考虑用另一个工具实现,同时未来大数据平台组件将异常丰富,相互之间的数据交换将是常态,必要要有更高级别的交换工具满足这些需求。

上一篇:工程测量具体是做些什么的,测量什么的?还有施工员具体要做的是什么? 下一篇:项目工程师工作职责都有什么

联系我们 | 关于我们 | 公司介绍 | 常见问题

脚步网,高端简历在线制作平台,各行各业的简历模板应有尽有

版权所有 2012-2021 脚步网 琼ICP备2023002197号-5