大数据架构师工作的岗位职责 篇1
职责:
1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;
2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;
3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;
4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。
任职资格:
1、计算机或相关专业本科及以上学历;
2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;
3、良好的编程开发能力,精通PHP及其他开发语言;
4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;
5、熟练掌握Linux常规命令与工具,精通shell, perl, python等脚本语言至少一种;
6、软件基础理论知识扎实,具有良好的数据结构、算法功底;
7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;
大数据架构师工作的岗位职责 篇2
职责:
1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化;
2、负责解决项目上线后生产环境的各种实际问题,保障大数据平台在生产上的安全、平稳运行;
3、推动优化跨部门的业务流程, 参与业务部门的技术方案设计、评审、指导;
4、负责技术团队人员培训、人员成长指导。
5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公,月底项目结束后在总部公司办公
任职要求:
1、熟悉linux、JVM底层原理,能作为技术担当,解决核心技术问题;
2、3年以上大数据平台项目架构或开发经验,对大数据生态技术体系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和实践, 注重文档管理、注重工程规范优先;
4、熟悉Java后台开发体系,具备微服务架构的项目实施经验,有Dubbo/Spring cloud微服务架构设计经验优先;
5、性格开朗、善于沟通,有极强的技术敏感性和自我驱动学习能力,注重团队意识。
大数据架构师工作的岗位职责 篇3
职责:
1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;
2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;
3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作
5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;
6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。
任职要求:
1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉BI平台、大数据系统相关技术架构及技术标准;
2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;
3.熟悉大数据相关技术:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企业信息化系统及相关数据库技术;
5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;
6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;
7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。
大数据架构师工作的岗位职责 篇4
职责:
1、负责企业大数据平台的基础建设、管理及制定拓展规划;
2、负责大数据平台相关自动化服务工具的设计、开发;
3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;
4、对平台特殊场景化的数据应用制定相关实践方案;
5、大数据团队的搭建。
任职资格:
1、统招本科以上学历,计算机等相关专业,5年以上工作经验;
2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;
3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;
5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;
6、熟悉爬虫常用框架以及反爬技术;
7、具有良好的沟通能力、分析问题与攻关问题的能力;
8、有责任心,工作积极,对新领域新技术有热情。
大数据架构师工作的岗位职责 篇5
职责:
1、数据分析软件平台架构搭建
2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;
3、指导开发人员开发,并解决系统出现的问题,理解物业需求;
4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;
任职要求:
1、硕士以上,计算机或先关专业;
2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,
3、 具备良好的组件级建模能力,熟悉HTTP、TCP等协议
4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL, VISIO等一种设计工具.
5、精通至少一种编程语言,熟悉 Linux 相关技术,能独立在上面进行开发、测试和部署
6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术
大数据架构师工作的岗位职责 篇6
职责:
1、负责规划科技大数据平台及科技数据入库自动化的方案设计;
2、负责大数据平台的开发和维护,以及对外服务接口的开发;
3、负责大数据平台的优化和改进工作。
任职要求
1、计算机相关专业本科及以上学历,5年以上开发经验,其中3年以上为互联网、大数据相关的开发经验;
2、熟知Hadoop生态圈体系,精通Hadoop/Spark/Storm/Kafka中的一项或几项,深刻理解MapReduce的运行原理和机制,有MPI经验者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相关数据库的构建和操作,尤其是数据库集群的构建和操作,熟悉Neo4j者尚佳;
4、具有机器学习相关项目经验者优先。
大数据架构师工作的岗位职责 篇7
职责:
1.负责公司大数据底层框架的整体架构设计,结合公司实际业务情况进行技术选型及大数据战略规划;
2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发,不断提升系统的稳定性和效率;
3.负责架构优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;
4.建立良好的公司内外的业界技术影响力;有效辅导团队,提升数据研发能力;
任职要求:
1.从事大数据项目相关开发和设计2年以上经验;有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;
2.拥有一定的算法和数据结构基础;有很强的数据设计抽象能力,善于从复杂的数据问题中找到关键路径;
3.熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、storm、spark、等;
4. 良好的逻辑思维能力,良好的业务解读能力,懂电力或通信业务优先;
5.具有钻研精神,乐于接受挑战;
大数据架构师工作的岗位职责 篇8
职责:
1. 深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;
2. 对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;
3. 搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;
4. 根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。
职位要求:
1. 5年以上相关工作经验,有团队管理和项目管理经验者优先;
2.了解政府运作机制,掌握财政行业知识,有电子政务行业经验者优先;
3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL,Oracle等,在机器学习模型和算法方向有应用经验者优先;
4. 具备数据中心产品策划整体思维,有大数据处理、分析、挖掘经验者优先;
5. 逻辑思维严密,具备业务抽象、分解和标准化的能力,口头和书面表达优秀;
6. 有较强的大局意识和良好的团队合作意识,富有领导力,具备优秀的人际交往和沟通能力。