在日常的学习、工作、生活中,肯定对各类范文都很熟悉吧。大家想知道怎么样才能写一篇比较优质的范文吗?下面是小编为大家收集的优秀范文,供大家参考借鉴,希望可以帮助到有需要的朋友。
大数据工程师的岗位职责 大数据工程师职责篇一
1.负责公司大数据底层框架的整体架构设计,结合公司实际业务情况进行技术选型及大数据战略规划;
2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发,不断提升系统的稳定性和效率;
3.负责架构优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;
4.建立良好的公司内外的业界技术影响力;有效辅导团队,提升数据研发能力;
任职要求:
1.从事大数据项目相关开发和设计2年以上经验;有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;
2.拥有一定的算法和数据结构基础;有很强的数据设计抽象能力,善于从复杂的数据问题中找到关键路径;
3.熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、storm、spark、等;
4. 良好的逻辑思维能力,良好的业务解读能力,懂电力或通信业务优先;
5.具有钻研精神,乐于接受挑战;
大数据工程师的岗位职责 大数据工程师职责篇二
职责:
1、负责公司大数据产品的架构设计,包含数据收集、数据存储、数据应用,并完成相关架构设计文档的撰写;
2、参与规划从数据源到数据应用的整体流程,并参与相关产品的决策;
3、负责解决核心技术问题,对技术方案进行决策;
4、负责大数据研发团队建设、人才梯队培养和技术团队管理;
5、积极了解业界发展,研究与跟踪大数据新技术发展方向。
任职要求:
1、精通goldengate for bigdata相关理论,具备大型数据利用的生产实战经验;
2、精通数据驱动的理论,设计并生产上线相关数据驱动的产品;
3、精通常用消息中间件的使用,例如kafka/rocketmq/apache pulsar,有解读相关源码者优先;
4、掌握hadoop、spark生态体系相关产品的使用,掌握mapreduce编程或spark编程;
5、了解传统数据仓库理论及相关etl工具,例如kettle/datastage;
6、熟悉oracle、mongodb、mysql数据库的使用;
7、扎实的java语言基础,熟悉java开发工具和调试工具的使用;
8、良好的团队协作精神,有能力对团队在软件设计、实现和测试方面进行指导;
9、良好的逻辑分析能力和沟通能力,执行力强、对待工作认真严谨、责任心强、具备出色的学习能力和团队合作精神,有一定的推动能力;
10、计算机科学、信息技术或相关领域本科以上学历,具有5年以上数据平台项目开发经验,3年以上的架构设计经验,具有大数据平台应用大型项目架构设计经验优先;
大数据工程师的岗位职责 大数据工程师职责篇三
职责:
1)负责公司软件产品整体架构的设计和关键功能实现
2)负责公司架构长期看护以及优化;
3)负责软件部门各模组间的协调配合;
4)提高巩固软件代码质量;
5)负责大数据流式框架的设计、优化及部署;
6)规划研发部门员工的技术发展路线并提供必要的帮助和指导
任职资格:
1)本科及以上学历,计算机相关专业,5年以上工作经验;
2)频繁换工作,比如一年一个公司,请绕路;
3)3年以上产品架构经验,主导过产品的成功上线;
4)对底层设备通讯协议,b/s系统,手机app开发等都有一定的了解;
5)对各种主流语言c#\java\pathon有一定的了解
5)精通各种大数据架构,并深入研究过其中一种,有storm\kafka等流式实时处理经验为佳
6)能够承担较强的工作压力,有良好的自我驱动能力和责任感;
7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。
大数据工程师的岗位职责 大数据工程师职责篇四
职责:
1、搭建基于hadoop/spark的数据挖掘体系和大数据分析系统架构;
2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;
3、进行大数据系统框架设计、模型算法开发;
4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;
5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;
任职资格:
1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;
2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;
3、精通分布式计算框架(hadoop、spark、storm等)及相关经验,熟练掌握hive/sql,python,熟悉python、r相关数值科学计算库(numpy,scipy等);
4、了解传统的bi/dw 理论,能结合传统bi实践设计大数据平台;
5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;
6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;
7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;
大数据工程师的岗位职责 大数据工程师职责篇五
职责:
1、负责大数据开发团队建设;
2、负责行业大数据产品架构设计与研发;
3、负责带领团队进行行业大数据产品关键技术攻关。
任职要求:
1、有三年以上大数据应用、开发经验;具备海量数据加工处理(etl)相关经验,对数据挖掘及机器学习有较为深刻的理解;
2、熟悉hadoop相关技术,对hdfs、mapreduce、hive、hbase有一定的使用和开发经验;
3、熟悉linux,熟练使用shell或python,进行脚本编写;
4、对数据结构和数据统计分析算法有较为深刻理解;
5、掌握至少一种主流关系数据库开发技术:oracle、sql server、mysql等;
6、掌握实时流计算技术,有spark、storm开发经验者优先;
7、需要具备2年以上研发团队管理经验。
大数据工程师的岗位职责 大数据工程师职责篇六
职责:
1、负责大数据项目技术架构评估与设计;
2、负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;
3、负责对使用关键技术的预研和选型,完成poc;
4、指导工程师完成开发工作,并能分享技术经验。
任职要求:
1、3年以上相关工作经验,其中具有1年以上架构设计经验
2、熟悉商业智能系统相关技术,如 etl、数据仓库、olap开发;
3、精通设计模式,熟悉面向服务架构(soa)以及其它常用软件架构思想,有soa方案设计、开发实施的实际经验,要具备实际的服务规划、服务粒度划分经验;并且要善于设计可重用组件和可定制化产品。
4、相关技术栈:java /scala/flume/hive/kafka/hbase/ spark/storm/redis;
5、有扎实的计算机基础,熟悉java等编程语言;
大数据工程师的岗位职责 大数据工程师职责篇七
职责:
1、负责公司大数据平台架构的技术选型和技术难点攻关工作;
2、依据行业数据现状和客户需求,完成行业大数据的特定技术方案设计与撰写;
3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享;
4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作;
5、参与公司大数据项目前期的架构设计工作;
任职要求:
1、计算机及相关专业本科以上,5年以上数据类项目(数据仓库、商务智能)实施经验,至少2年以上大数据架构设计和开发经验,至少主导过一个大数据平台项目架构设计;
2、精通大数据生态圈的技术,包括但不限于mapreduce、spark、hadoop、kafka、mongodb、redis、flume、storm、hbase、hive,具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先;
3、优秀的方案撰写能力,思路清晰,逻辑思维强,能够根据业务需求设计合理的解决方案;
4、精通oracle、db2、mysql等主流关系型数据库,熟悉数据仓库建设思路和数据分层架构思想;
5. 熟练掌握java、r、python等1-2门数据挖掘开发语言;
6. 熟悉云服务平台及微服务相关架构思想和技术路线,熟悉阿里云或腾讯云产品者优先;
7、有烟草或制造行业大数据解决方案售前经验者优先;
8、能适应售前支持和项目实施需要的短期出差;
大数据工程师的岗位职责 大数据工程师职责篇八
职责:
负责公司大数据产品架构的设计与实现;
配合大数据产品经理完成产品的快速研发与交付;
负责大数据产品架构的持续优化设计;
负责大数据产品核心组件设计;
负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;
为应用开发团队提供技术支撑。
任职要求:
本科及以上学历,3年以上的大数据开发经验、
2年以上大数据架构设计经验;
丰富的java研发经验,精通java,熟悉python scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);
精通各种大数据相关技术体系:hadoop、spark、storm、elasticsearch、kafka;
有数据挖掘、机器学习相关应用或研究背景;
沟通能力较好,积极主动意识较强,责任心较强。
大数据工程师的岗位职责 大数据工程师职责篇九
职责:
1、负责规划大数据平台及应用产品的需求和技术方案设计;
2、负责数据对接和对外服务设计、开发和维护,并能保证质量和性能;
3、负责基于大数据平台的应用设计、开发和维护;
4、能从系统全局和各子系统的角度思考可能存在的问题,并提出改进方案建议;
任职要求:
1、大学本科6年以上工作经验,计算机相关专业。
2、至少4年以上的java开发经验,3年以上大数据应用系统的开发和设计经验。
3、熟悉hadoop生态圈技术体系, 对离线计算、内存计算和流式计算均有深刻理解, 如hadoop、storm、spark三个中的任意二个, 能进行平台和组件优化。
4、精通hive、hbase仓库设计,深刻理解mr运行原理和机制,能进行以提供高任务执行效率的优化。
5、精通java开发,熟悉jvm调优, 对gc有深刻理解。
6、熟悉linux、shell、kafka、oracle、mysql、redis等相关技术, 能进行hbase可靠性诊断和维护。
7、快速研究和学习技术能力。
大数据工程师的岗位职责 大数据工程师职责篇十
职责:
1、负责规划科技大数据平台及科技数据入库自动化的方案设计;
2、负责大数据平台的开发和维护,以及对外服务接口的开发;
3、负责大数据平台的优化和改进工作。
任职要求
1、计算机相关专业本科及以上学历,5年以上开发经验,其中3年以上为互联网、大数据相关的开发经验;
2、熟知hadoop生态圈体系,精通hadoop/spark/storm/kafka中的一项或几项,深刻理解mapreduce的运行原理和机制,有mpi经验者尚佳;
3、熟悉elasticsearch、redis、hbased等相关数据库的构建和操作,尤其是数据库集群的构建和操作,熟悉neo4j者尚佳;
4、具有机器学习相关项目经验者优先。
大数据工程师的岗位职责 大数据工程师职责篇十一
职责:
1.负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。
2.面向pb级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。
3.构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。
4.指导团队成员开展数据仓库建设。
5.参与重点项目的评审,参与企业数据管理体系建设。
任职要求:
1.统招本科及以上学历。
2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与etl开发经验 ,掌握kimball的维度建模设计方法,具备海量数据加工处理(etl)相关经验 。
3.具有一定数据模型和数据架构基础,熟悉hadoop\hive和常用数据库。
4. 精通sql,有一定的sql性能调优经验,熟悉hive sql的开发。
5.具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。
6.具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。
7.具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。
8.具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。
9.全日制普通本科毕业。
大数据工程师的岗位职责 大数据工程师职责篇十二
职责:
负责公司大数据产品架构的设计与实现;
配合大数据产品经理完成产品的快速研发与交付;
负责大数据产品架构的持续优化设计;
负责大数据产品核心组件设计;
负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;
为应用开发团队提供技术支撑。
及时向上级反馈工作进度、遇到的问题或者对现有工作的建议等;
完成上级领导交办的其它各项工作。
任职资格:
985/211本科及以上学历,3年以上的大数据开发经验、
2年以上大数据架构设计经验;
丰富的java研发经验,精通java,熟悉python scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);
精通各种大数据相关技术体系:hadoop、spark、storm、elasticsearch、kafka;
有数据挖掘、机器学习相关应用或研究背景;
沟通能力较好,积极主动意识较强,责任心较强。
具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题;
良好的团队合作精神,较强的沟通能力和学习能力 ;
大数据工程师的岗位职责 大数据工程师职责篇十三
职责:
1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;
2. 负责实时计算平台基础架构设计、部署、监控、优化升级;
3. 制定项目/数据仓库设计及实现规范,指导设计研发和部署;
4. 协助策略和算法团队工作,保障数据挖掘建模和工程化;
5. 深入研究大数据相关技术和产品,跟进业界先进技术。
任职要求:
1. 全日制本科及以上学历,5年以上软件和分布式系统研发经验,3年以上大数据系统架构经验;
2. 精通hadoop/hbase/spark/storm/redis技术及其生态圈;
3. 具备java/c++/scala等开发经验,熟悉数据挖掘和分析的策略与算法;
4. 具备良好的系统分析能力、故障诊断能力;
5. 有大数据策略、算法、可视化经验优先;
6、211/985 重点学校毕业优先。
大数据工程师的岗位职责 大数据工程师职责篇十四
职责:
1. 深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;
2. 对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;
3. 搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;
4. 根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。
职位要求:
1. 5年以上相关工作经验,有团队管理和项目管理经验者优先;
2.了解政府运作机制,掌握财政行业知识,有电子政务行业经验者优先;
3. 熟练掌握使用java或python,精通数据库查询语言如sql,oracle等,在机器学习模型和算法方向有应用经验者优先;
4. 具备数据中心产品策划整体思维,有大数据处理、分析、挖掘经验者优先;
5. 逻辑思维严密,具备业务抽象、分解和标准化的能力,口头和书面表达优秀;
6. 有较强的大局意识和良好的团队合作意识,富有领导力,具备优秀的人际交往和沟通能力。
大数据工程师的岗位职责 大数据工程师职责篇十五
职责:
1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化,不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。
2.负责制定大数据平台调用约束和规范;
3.负责大数据方向技术难题的解决,以及代码质量的把控;
4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养,分享技术经验,撰写相关技术文档指导和培训工程师。
任职要求:
1.热衷于大数据技术,并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;
2.熟悉服务器基本知识,能够评估系统硬件性能瓶颈;
3.掌握linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题,并能提供解决问题的理论依据;
4.精通java服务器编程,熟悉jvm原理,对数据结构和算法设计有较为深刻的理解;
5.精通elasticsearch、redis、hadoop、kafka、zookeeper、yarn、hbase、spark底层架构,熟悉原理、源码、集群部署,包括参数优化、bug修复,贡献过代码或提交过bug者优先
6.具备数据中心资源管理、监控、调度等系统研发经验者优先,具备分布式系统研发经验者优先;
7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;
8.具有良好的文档编写能力,可进行方案设计、架构设计。
大数据工程师的岗位职责 大数据工程师职责篇十六
职责:
1.负责过多个大数据项目的架构;
2.精通hadoop、spark, hbase等主流的大数据平台、精通各组件优化设计原理;
3.精通大数据实时流式处理的设计和应用;
3.熟悉大数据平台调优,具备大数据生产平台调优经验;
4.金融行业,运营商行业大数据架构经验更优;
5.研究大数据技术的最新发展,并引入到公司技术架构;
6.指导大数据工程师的日常工作,并培养技术骨干。
任职资格:
1.计算机相关专业本科或以上学历;
2.具有5年以上大数据相关开发经验;
3.具有2年以上带团队经验
4.对hadoop/hive/spark/hbase/es等等大数据常用技术有深刻理解,能够带领团队进行技术攻坚,完成中间件的实施、改造、调优;
5.精通海量数据和实时数据的分析处理,能对线上的数据处理性能问题做调优;
6.精通数据仓库以及维度建模原理,有大型数据仓库建设经验;
7.精通关系型数据库和nosql数据库的使用,熟悉相关理论;
8.沟通顺畅,重点突出,高效。
大数据工程师的岗位职责 大数据工程师职责篇十七
职责:
1、大数据平台的规划、设计、实施,并优化数据库;
2、对数据库进行管理,负责数据库应用系统的运营及监控;
3、对数据库性能分析与调优,排错,保证数据正确率;
4、配合其他部门进行的数据处理、查询,统计和分析工作;
5、完成公司下达的项目开发任务。
任职要求:
1、计算机及相关专业本科以上学历,5年以上软件开发从业经验,其中包括至少2年以上的大数据开发工作经验;
2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构,有管理或优化大型分布式集群经验;
3、熟悉linux基本命令,精通sql脚本的编写,有丰富的数据库管理、运维调优经验;
4、熟悉c++、java、c#等开发语言;
5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;
6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;
7、快速处理系统突发事件的能力,较强的学习和创新能力;
8、良好的沟通能力和团队合作精神。
大数据工程师的岗位职责 大数据工程师职责篇十八
职责:
1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作
2、与数据专业委员会一起研究数据建模方案和建模工具,负责产品线产品的数据架构、数据模型设计
3、参与研究数据库之间的数据转换方式,参与项目中的数据移植工作,收集在项目中的数据移植经验,优化产品的数据模型
4、负责培训本部门队伍的数据模型基础理论工作,建立数据模型团队
岗位要求:
1、统招本科学历,3年以上主流数据上(db2、oracle、sqlserver、mysql等)etl设计、开发经验,具备大型数据仓库逻辑模型和物理模型设计经验,精通sql,有较好的sql性能调优经验;
2、拥有python,r等数学建模工具的使用经验,并具备一定的数据处理和建模经验,可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;
3、熟悉统计学基本原理,做过实战的数据建模项目;
4、有分布式数据仓库建设相关经验者优先,具备电信行业数据仓库建设相关经验者优先;
大数据工程师的岗位职责 大数据工程师职责篇十九
职责:
1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;
2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;
3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作
5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;
6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。
任职要求:
1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉bi平台、大数据系统相关技术架构及技术标准;
2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;
3.熟悉大数据相关技术:hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;
4.熟悉制造企业信息化系统及相关数据库技术;
5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;
6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;
7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。
大数据工程师的岗位职责 大数据工程师职责篇二十
职责:
1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;
2. 负责实时计算平台基础架构设计、部署、监控、优化升级;
3. 制定项目/数据仓库设计及实现规范,指导设计研发和部署;
4. 协助策略和算法团队工作,保障数据挖掘建模和工程化;
5. 深入研究大数据相关技术和产品,跟进业界先进技术;
任职要求:
1. 全日制本科及以上学历,5年以上软件和分布式系统研发经验,3年以上大数据系统架构经验;
2. 精通hadoop/hbase/spark/storm/redis技术及其生态圈;
3. 具备良好的系统分析能力、故障诊断能力;
4 有大数据策略、算法、可视化经验优先。
大数据工程师的岗位职责 大数据工程师职责篇二十一
1、负责公司大数据处理框架研发工作,设计与开发分布式存储、数据处理与分析架构。
2、负责大数据平台与产品和相关技术的追踪及研究。
3、负责大数据的处理工作,以及业务数据提取、加载、转换处理流程的开发和优化。
4、利用大数据平台工具对数据维护。
5、负责相关项目的技术支持和服务。
6、持续对系统的技术架构进行改进和优化。