作文网实用文档职场文书内容页

大数据架构师工作的岗位职责

2023-09-19 16:18:01职场文书打开翻译

大数据架构师工作的岗位职责 篇1

职责:

1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;

2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;

3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;

4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。

任职资格:

1、计算机或相关专业本科及以上学历;

2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

3、良好的编程开发能力,精通PHP及其他开发语言;

4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;

5、熟练掌握Linux常规命令与工具,精通shell, perl, python等脚本语言至少一种;

6、软件基础理论知识扎实,具有良好的数据结构、算法功底;

7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;

大数据架构师工作的岗位职责 篇2

职责:

1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化;

2、负责解决项目上线后生产环境的各种实际问题,保障大数据平台在生产上的安全、平稳运行;

3、推动优化跨部门的业务流程, 参与业务部门的技术方案设计、评审、指导;

4、负责技术团队人员培训、人员成长指导。

5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公,月底项目结束后在总部公司办公

任职要求:

1、熟悉linux、JVM底层原理,能作为技术担当,解决核心技术问题;

2、3年以上大数据平台项目架构或开发经验,对大数据生态技术体系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;

3、掌握git、maven、gradle、junit等工具和实践, 注重文档管理、注重工程规范优先;

4、熟悉Java后台开发体系,具备微服务架构的项目实施经验,有Dubbo/Spring cloud微服务架构设计经验优先;

5、性格开朗、善于沟通,有极强的技术敏感性和自我驱动学习能力,注重团队意识。

大数据架构师工作的岗位职责 篇3

职责:

1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;

6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。

任职要求:

1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉BI平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。

大数据架构师工作的岗位职责 篇4

职责:

1、负责企业大数据平台的基础建设、管理及制定拓展规划;

2、负责大数据平台相关自动化服务工具的设计、开发;

3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;

4、对平台特殊场景化的数据应用制定相关实践方案;

5、大数据团队的搭建。

任职资格:

1、统招本科以上学历,计算机等相关专业,5年以上工作经验;

2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;

3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;

4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;

5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;

6、熟悉爬虫常用框架以及反爬技术;

7、具有良好的沟通能力、分析问题与攻关问题的能力;

8、有责任心,工作积极,对新领域新技术有热情。

大数据架构师工作的岗位职责 篇5

职责:

1、数据分析软件平台架构搭建

2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

任职要求:

1、硕士以上,计算机或先关专业;

2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,

3、 具备良好的组件级建模能力,熟悉HTTP、TCP等协议

4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL, VISIO等一种设计工具.

5、精通至少一种编程语言,熟悉 Linux 相关技术,能独立在上面进行开发、测试和部署

6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

大数据架构师工作的岗位职责 篇6

职责:

1、负责规划科技大数据平台及科技数据入库自动化的方案设计;

2、负责大数据平台的开发和维护,以及对外服务接口的开发;

3、负责大数据平台的优化和改进工作。

任职要求

1、计算机相关专业本科及以上学历,5年以上开发经验,其中3年以上为互联网、大数据相关的开发经验;

2、熟知Hadoop生态圈体系,精通Hadoop/Spark/Storm/Kafka中的一项或几项,深刻理解MapReduce的运行原理和机制,有MPI经验者尚佳;

3、熟悉Elasticsearch、Redis、Hbased等相关数据库的构建和操作,尤其是数据库集群的构建和操作,熟悉Neo4j者尚佳;

4、具有机器学习相关项目经验者优先。

大数据架构师工作的岗位职责 篇7

职责:

1.负责公司大数据底层框架的整体架构设计,结合公司实际业务情况进行技术选型及大数据战略规划;

2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发,不断提升系统的稳定性和效率;

3.负责架构优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;

4.建立良好的公司内外的业界技术影响力;有效辅导团队,提升数据研发能力;

任职要求:

1.从事大数据项目相关开发和设计2年以上经验;有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

2.拥有一定的算法和数据结构基础;有很强的数据设计抽象能力,善于从复杂的数据问题中找到关键路径;

3.熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、storm、spark、等;

4. 良好的逻辑思维能力,良好的业务解读能力,懂电力或通信业务优先;

5.具有钻研精神,乐于接受挑战;

大数据架构师工作的岗位职责 篇8

职责:

1. 深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;

2. 对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;

3. 搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;

4. 根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。

职位要求:

1. 5年以上相关工作经验,有团队管理和项目管理经验者优先;

2.了解政府运作机制,掌握财政行业知识,有电子政务行业经验者优先;

3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL,Oracle等,在机器学习模型和算法方向有应用经验者优先;

4. 具备数据中心产品策划整体思维,有大数据处理、分析、挖掘经验者优先;

5. 逻辑思维严密,具备业务抽象、分解和标准化的能力,口头和书面表达优秀;

6. 有较强的大局意识和良好的团队合作意识,富有领导力,具备优秀的人际交往和沟通能力。

猜你喜欢