大数据工作都做什么。我对大数据感兴趣,想从事这方面的工作,但是不知道他具体是要做什么。求解~~
大数据相关工作岗位很多,有大数据分析师、大数据挖掘算法工程师、大数据研发工程师、数据产品经理、大数据可视化工程师、大数据爬虫工程师、大数据运营专员、大数据架构师、大数据专家、大数据总监、大数据研究员、大数据科学家等等。
数据分析师:
工作内容:
a.临时取数分析,比如双11大促活动分析;产品的流量转化情况、产品流程优化分析,等等;
b.报表需求分析--比如企业常见的日报、周报、月报、季报、年报、产品报表、流量转化报表、经营分析报表、KPI报表等等;
c.业务专题分析:
精准营销分析(用户画像分析、营销对象分析、营销策略分析、营销效果分析);
风控分析(策略分析,反欺诈分析,信用状况分析);
市场研究分析(行业分析、竞品分析、市场分析、价格分析、渠道分析、决策分析等等);
工具和技能:
工具: R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT
技能:需掌握SQL数据库、概率统计、常用的算法模型(分类、聚类、关联、预测等,每一类模型的一两种最典型的算法)、分析报告的撰写、商业的敏感性等等;
数据挖掘工程师:
工作内容:
a.用户基础研究:用户生命周期刻画(进入、成长、成熟、衰退、流失)、用户细分模型、用户价值模型、用户活跃度模型、用户意愿度识别模型、用户偏好识别模型、用户流失预警模型、用户激活模型等
b.个性化推荐算法:基于协同过滤(USERBASE/ITEMBASE)的推荐,基于内容推荐,基于关联规则Apriot算法推荐,基于热门地区、季节、商品、人群的推荐等
c.风控模型:恶意注册模型、异地识别模型、欺诈识别模型、高危会员模型、
电商领域(炒信模型、刷单模型、职业差评师模型、虚假发货模型、反欺诈模型)
金融领域(欺诈评分模型、征信评分模型、催收模型、虚假账单识别模型等)
d.产品知识库:产品聚类分类模型、产品质量评分模型、违禁品识别模型、假货识别模型等
e.文本挖掘、语义识别、图像识别,等等
工具和技能:
工具: R、Python、SAS、SPSS、Spark、Mlib等等
技能:需掌握SQL数据库、概率统计、机器学习算法原理(分类、聚类、关联、预测、神经网络等)、模型评估、模型部署、模型监控;
数据产品经理:
工作内容:
a.大数据平台建设,让获取数据、用数据变得轻而易举;构建完善的指标体系,实现对业务的全流程监控、提高决策效率、降低运营成本、提升营收水平;
b.数据需求分析,形成数据产品,对内提升效率、控制成本,对外增加创收,最终实现数据价值变现;
c.典型的大数据产品:大数据分析平台、个性化推荐系统、精准营销系统、广告系统、征信评分系统(如芝麻评分)、会员数据服务系统(如数据纵横),等等;
工具和技能:
工具: 除了掌握数据分析工具,还需要掌握 像 原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等
技能:需掌握SQL数据库、产品设计,同时,熟悉常用的数据产品框架
数据研发工程师:
工作内容:
a.大数据采集、日志爬虫、数据上报等数据获取工作
b.大数据清洗、转换、计算、存储、展现等工作
c.大数据应用开发、可视化开发、报表开发等
工具和技能:
工具:hadoop、hbase、hive、kafaka、sqoop、java、python等
技能:需掌握数据库、日志采集方法、分布式计算、实时计算等技术
大数据工程师是做什么的 需要掌握哪些技能
大数据工程师需要负责创建和维护数据分析基础架构,包括大数据架构的开发、构建、维护和测试等,还负责创建用于建模,挖掘,获取和验证数据集合等流程。
大数据工程师做哪些工作
大数据工程师可以做大数据开发工作,开发,建设,测试和维护架构,负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等。
大数据工程师可以做数据分析工作,收集,处理和执行统计数据分析,运用工具,提取、分析、呈现数据,实现数据的商业意义,需要业务理解和工具应用能力。
大数据工程师可以做数据挖掘工作,数据建模、机器学习和算法实现,商业智能,用户体验分析,预测流失用户等,需要过硬的数学和统计学功底以外,对算法的代码实现也有很高的要求。
大数据工程师可以做数据库开发及管理工作,设计,开发和实施基于客户需求的数据库系统,通过理想接口连接数据库和数据库工具,优化数据库系统的性能效率等。
大数据工程师需要学什么
1、计算机编码能力:实际开发能力和大规模的数据处理能力是作为大数据工程师必须要掌握的能力,现在人们在社交网络上所产生的许多记录都是非结构化的数据,如何从这些毫无头绪的信息中提取有用数据呢,这就需要大数据工程师来做。
2、.大数据架构工具与组件:企业大数据框架的搭建,多是选择基于开源技术框架来实现的,这其中就包括Hadoop、Spark、Storm、Flink为主的一系列组件框架,及其生态圈组件。
3、数据仓库和ETL工具:数据仓库和ETL能力对于大数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案,以及ETL工具,比如StitchData或Segment都非常有用。
4、编程语言:编码与开发能力是大数据工程师的必备技能,要熟悉Python,C/C++,Java,Perl,Golang或其它语言。
数据工程师是做什么的
数据工程师负责创建和维护分析基础架构,该基础架构几乎可以支持数据世界中的所有其他功能。数据工程师负责大数据架构的开发、构建、维护和测试,例如数据库和大数据处理系统。大数据工程师还负责创建用于建模,挖掘,获取和验证数据集合等流程。
数据工程师的工作内容有:
学习并适应产品设计开发体系和公司产品开发程序,按产品开发规范进行新产品设计,产品设计验证;
完成产品技术积累,形成技术规范,理解公司程序及用户的特定文件编制要求,确保全新产品设计成功引入公司;
完成产品设计资料并发布,确保设计资料对制造过程工艺路线和方法具有指导作用,与用户交流并确保图纸状态持续的满足用户技术状态要求;
完成项目的设计验证计划并实施,进行技术积累,形成规范的设计模板,实现技术进步,持续改进,并推行持续性改进作为更改的手段;
与制造工程师紧密合作,降低产品设计成本,达到适合公司具体情况的产品设计,确保现有条件某具体项目制造过程的最合理性。