大数据架构师的主要职责说明
“开心小花花”通过精心收集，向本站投稿了15篇大数据架构师的主要职责说明，下面小编为大家带来整理后的大数据架构师的主要职责说明，希望大家喜欢!
篇1：大数据架构师的主要职责说明
职责：
1、负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划;
2、负责公司项目的整体评估、设计、架构及关键模块的开发;
3、负责架构优化，协助团队解决开发过程中遇到的技术难题;
4、负责新技术的调研和大数据相关开源组件的研究，并能在团队进行推广应用;
5、参与数据分析、数据建模、项目核心模块及核心框架的开发;
6、负责大数据平台的性能条有和问题诊断。
任职要求：
1、计算机相关专业，本科及以上学历，3-5年以上工作经验，2-3年大数据相关经验;
2、具有扎实的大数据和数据仓库理论功底，负责过大数据平台或数据仓库设计;
3、对基于Hadoop的大数据体系有深入的认识，具备相关产品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)项目应用研发经验，有Hadoop集群搭建和管理经验，度过Hadoop和Spark源码;
4、熟悉Linux和Python语言，了解Scala原理和底层技术;
5、熟悉分布式系统的架构及对其进行设计和优化，对海量数据的清晰、分析处理及存储有相关的实战经验;
6、算法基础扎实，熟悉常见的数据结构，深入理解分布式算法和以上提到的分布式系统，
7、必须有一线coding的能力;
8、有统计学、数学知识，海量数据处理、分析和挖掘，大型互联网公司从业经历着优先。
篇2：大数据架构师的主要职责说明
职责：
1. 负责大数据基础和应用平台的整体规划和架构设计，参与需求分析，架构设计，详细设计以及技术选型决策
2. 参与数据挖掘和建模相关核心算法的代码实现
3. 负责大数据算法平台的技术把关，性能调优，控制架构质量，解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发
4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施
5. 负责数据库设计、应用架构设计、核心技术选型等工作
6. 协调解决开发中的技术问题、设计和监控运营指标，保障系统稳定运行
7. 培养，指导有能力的员工，指导工程师进行技术验证实现，核心技术攻关，解决开发过程中的技术难题
任职要求：
1. 熟悉大数据和数据仓库的系统架构设计方法
2. 熟练使用并理解HadoopSpark架构及生态。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)
3. 熟悉分布式系统架构，有分布式实时、离线和机器学习的平台的架构和开发经验，具备海量数据清洗、分析处理及存储的实践经验
4. 熟练使用JAVA，具有大规模分布式系统调优经验
5. 熟悉AI相关算法，熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;
6. 具备良好的团队合作精神，对工作充满激情。
7. 熟悉FusionInsight平台开发经验者优先
篇3：大数据架构师的主要职责说明
职责：
(1) 负责公司大数据平台搭建，相关的设计和技术开发工作，负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;
(2) 通过数据分析技术，挖掘有利于营销中各业务场景的变量或规则类标签，以提升模型效果，为文旅、教育业务提供数学模型理论及编程支撑;
(3) 对接沟通业务系统研发团队和产品部门，提供数据驱动方面的专业咨询方案，并对业务的大数据应用场景提出建设性意见;
(4) 配合部门领导进行项目需求分析、设计开发工作。
任职要求：
(1) 计算机、统计学，数学等相关专业本科以上学历，5年以上大数据或文旅、教育数据产品设计开发经验，高效高质量产出需求和技术文档;
(2) 精通Hadoop，熟悉大数据生态技术，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等，有大规模集群架构、开发及运维经验;熟悉HDFS/MapReduce等;
(3) 熟悉Java，能够独立应用python、R、SAS或类似分析工具进行数据分析;
(4) 熟悉大数据挖掘、可视化分析，各种BI算法和产品等，在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验，能够运用数据作为产品解决业务方运营及决策问题;
(5) 有互联网行业工作经验者优先，有海量数据的机器学习算法实践经验优先;
(6) 工作认真、负责，有良好的团队合作精神，良好的分析能力、沟通技巧。
篇4：大数据架构师的主要职责说明
职责：
1. 负责公司大数据平台的设计和开发，负责spark, hadoop, flink等云计算平台的开发和优化;制定数据架构规范，进行核心代码编写，指导团队落地;
2. 负责数据基础架构和数据处理体系的升级和优化，技术难题攻关，持续提升核心系统性能，保证系统的安全、稳定、高效运行
3. 设计并实现对BI分析、数据产品开发、算法开发的系统性支持
4. 研究未来数据模型和计算框架的创新与落地，包括但不限于以下领域：大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面参与制定并实践团队的技术发展路线
5. 建立良好的公司内外的业界技术影响力;参与培养未来数据人才;有效辅导团队，提升数据研发能力
任职要求：
1. 有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径，能够开发创新而实际的分析方法以解决复杂的商业问题
2. 有作为技术负责人系统化解决问题的成功案例;有海量数据建模实践经验优先
3. 熟练掌握Hadoop、Spark、Flink、HBase的原理特性以及适用场景，精通流式计算开发，有开源二次开发经验者优先，有NLP数据处理经验者优先
4. 性格积极乐观，诚信，能自我驱动，有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力
5. 本科以上学历，扎实的计算机专业基础，有5年以上大数据平台开发经验;
篇5：大数据架构师的主要职责说明
职责：
1、负责大数据平台的技术选型，基于Spark、Hadoop大数据平台建设和开发;
2、完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计和数据层架构设计;
3、构建数据中台，为多种行业应用提供主数据(画像标签/关系图谱)、数据模型、人工智能业务算法及数据服务。
4、对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成开发;
5、带领大数据技术团队提供并实现大数据平台上各项数据分析和数据可视化的架构设计，支撑解决方案实施。
任职要求：
1、本科及以上学历，具有5年及以上大数据架构设计和开发经验;2年及以上带领团队经验;沟通能力强。在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计经验、主导过大型商业软件的架构设计并取得过市场商业成功者优先考虑;
2、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;
3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一种主流数据库的使用，并能进行性能调优;
4、具备优秀的团队意识和沟通能力，学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战。
篇6：大数据架构师的职责
职责：
1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;
2、负责实时计算平台基础架构设计、部署、监控、优化升级;
3、制定项目数据仓库设计及实现规范，指导设计研发和部署;
4、协助策略和算法团队工作，保障数据挖掘建模和工程化;
5、深入研究大数据相关技术和产品，跟进业界先进技术。
任职要求：
1、3年以上大数据系统架构经验;
2、精通Hadoop HBase Hive Spark Flink Kafka Redis技术及其生态圈;
3、具备Java Scala Python等开发经验，熟悉数据挖掘和分析的策略与算法;
4、精通数据抽取，海量数据传输，数据清洗的常用方法和工具。
5、具备良好的系统分析能力、故障诊断能力;
6、有大数据策略、算法、可视化经验优先;
7、有在华为云存储产品和大数据产品的开发使用经验优先。
篇7：大数据架构师的职责
职责：
1、负责公司的大数据平台的数仓架构、系统架构设计;
2、负责带领团队完成舆情分析相关的挖掘方案设计;
3、负责大数据研发组团队管理;
4、负责带领团队完成舆情平台的方案文档撰写、迭代开发;
5、负责研发规范制定，研究行业前沿技术;
6、参与产品规划及设计讨论。
任职要求：
1、本科五年工作经验及以上，有至少五年的大数据技术实践经验，有NLP或AI相关经验;
2、有很强的架构设计能力和良好的表达能力;
3、有一定的项目管理及团队管理能力;
4、精通Hadoop、Spark生态圈中的常用组件原理及应用;
6、理解媒体业务，精通数据仓库的规划和设计;
5、精通掌握Java或Python编程，有性能调优能力;
4、熟悉NLP算法原理及应用;
6、对新生事物或者新技术有浓厚兴趣，学习能力强。
篇8：大数据架构师的职责
职责
1、参与打造数据中内容的规划、设计、开发和优化工作，实现高质量数据的互通与共享;
2、参与数据模型体系构建及数据主题设计和开发，搭建离线、实时数据公共层;
3、参与数据产品与应用的数据研发，发掘数据商业价值，打造极致体验的数据产品;
4、深入理解数据产品的使用场景，为业务方在可用性、成本上做更好的设计做参考;
5、团队成员的搭建与培养，任务划分，进度监控，代码规范，质量保证。
任职要求
1、熟悉数据仓库建模理论，3年以上相关领域实践经验;
2、Hadoop、Hive、Hbase、Storm、Spark等技术框架;
3、精通Java、Python、Scala、go等开发语言中的1到2种;
4、熟练使用Python/Java/scala或其他语言进行复杂业务逻辑的数据处理工作，具备海量数据处理以及性能优化的能力;
5、对MySQL、Redis、HBase等数据库有一定的了解和使用经验;
6、对olap，多维分析及kylin熟悉的更好;
7、思路清晰，具备良好的沟通能力和理解能力，较强的学习能力以及快速解决问题的能力;
8、对新技术，新事物有很好的探索和求知欲;
9、熟悉常规的机器学习算法：降维(PCA、SVD)、SVM、逻辑回归(LogisticsRegression)、决策树(GBDT、RandomForest)、关联规则(Apriori、FP-Growth)、聚类(K-Means)等优先。
篇9：大数据架构师的职责
职责
1、负责公司大数据平台的整体架构设计，包含数据收集、数据存储、数据挖掘、数据输出;
2、负责规划从数据源到数据应用的整体流程，并参与用户产品和数据产品的决策;
3、负责海量数据分析、用户行为分析，构建用户数据模型;
4、负责解决核心技术问题，对技术方案进行决策;
5、技术团队管理。
6、熟悉手机IOS、安卓系统APP开发
任职资格
1、计算机相关专业毕业，本科以上学历;
2、5年以上相关工作经验，具备软件产品架构设计经验，熟练掌握高性能、高扩展性架构设计方法;
3、熟练掌握java或c++任意一门语言、熟悉linux操作系统;
4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大数据技术，并能够基于上述项目开发大数据相关应用;
5、熟悉基本数据挖掘方法和技术;
6、强烈的敬业精神，良好的沟通与协调能力，能有效组织协调团队完成各类开发工作;
7、热爱技术，相信数据的价值，对大数据有深刻的理解。
篇10：大数据架构师的职责
职责：
1、负责规划科技大数据平台及科技数据入库自动化的方案设计;
2、负责大数据平台的开发和维护，以及对外服务接口的开发;
3、负责大数据平台的优化和改进工作。
任职要求
1、计算机相关专业本科及以上学历，5年以上开发经验，其中3年以上为互联网、大数据相关的开发经验;
2、熟知Hadoop生态圈体系，精通Hadoop/Spark/Storm/Kafka中的一项或几项，深刻理解MapReduce的运行原理和机制，有MPI经验者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相关数据库的构建和操作，尤其是数据库集群的构建和操作，熟悉Neo4j者尚佳;
4、具有机器学习相关项目经验者优先。
篇11：大数据架构师的具体职责
职责：
1、负责企业大数据平台的基础建设、管理及制定拓展规划;
2、负责大数据平台相关自动化服务工具的设计、开发;
3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;
4、对平台特殊场景化的数据应用制定相关实践方案;
5、大数据团队的搭建。
任职资格:
1、统招本科以上学历，计算机等相关专业，5年以上工作经验;
2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;
3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;
5、熟悉高并发、分布式开发等相关知识，具有后端服务优化相关经验;
6、熟悉爬虫常用框架以及反爬技术;
7、具有良好的沟通能力、分析问题与攻关问题的能力;
8、有责任心，工作积极，对新领域新技术有热情。
篇12：大数据架构师的基本职责
职责：
1.负责整个大数据平台架构的设计和构建;
2.负责构建大数据平台的数据交换、任务调度等通用平台;
3.制定开发、测试、实施、维护的标准和规范，指导和培训工程师，不断提升团队能力。
4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署，负责编写核心部分代码。
5.持续挑战新的技术方向，攻克大数据量、高并发、高可用、可扩展等技术难点。
任职要求：
1.3年以上大数据架构经验，丰富的数据仓库、数据挖掘、机器学习项目经验
2.大规模数据处理的架构和设计实战经验
3.精通Spark、MR，熟练HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有丰富的大型数据平台工程经验
4.深刻理解大数据处理(流计算，分布式计算，分布式文件系统，分布式存储等)相关技术和实现方法
5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法，熟练Linux/Unix平台上的开发环境
6.本科或以上学历，计算机软件或相关专业，丰富的java开发经验和互联网背景优先。
7.具有比较强的问题分析和处理能力，有比较优秀的动手能力，热衷技术，精益求精
篇13：大数据架构师的工作职责描述
职责：
1、基于公司大数据基础和数据资产积累，负责大数据应用整体技术架构的设计、优化，建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。
2、负责制定大数据应用系统的数据安全管控体系和数据使用规范。
3、作为大数据技术方案到产品实现的技术负责人，负责关键技术点攻坚工作，负责内部技术推广、培训及知识转移工作。
4、负责大数据系统研发项目任务规划、整体进度、风险把控，有效协同团队成员并组织跨团队技术协作，保证项目质量与进度。
5、负责提升产品技术团队的技术影响力，针对新人、普通开发人员进行有效辅导，帮助其快速成长。
任职资格：
1、计算机、数学或相关专业本科以上学历，5-工作经验，具有大型系统的技术架构\应用架构\数据架构相关的实践工作经验。
2、有分布式系统分析及架构设计经验，熟悉基于计算集群的软件系统架构和实施经验。
3、掌握Hadoop/Spark/Storm生态圈的主流技术及产品，深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。
4、掌握Mysql/Oracle等常用关系型数据库，能够对SQL进行优化。
5、熟悉分布式系统基础设施中常用的技术，如缓存(Varnish、Memcache、Redis)、消息中间件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有实践经验者优先。
6、熟悉Linux，Java基础扎实，至少3-5年以上Java应用开发经验，熟悉常用的设计模式和开源框架。
篇14：大数据架构师的具体职责
职责：
负责大数据平台架构的规划和设计，主导系统的架构设计和核心模块开发，确保项目质量和关键性能指标达成;
负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发，保证大数据产品的上线运行;
负责深入理解业务需求，对业务建模，设计系统架构，满足业务需求;
负责协助策略和算法工作,保障数据挖掘建模和工程化;
负责根据业务需求整合优化数据架构，保证产品的可靠性、稳定性;
负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;
负责研发技术发展方向，新技术领域的探索，将新技术应用到公司大数据平台，提升公司效能
任职要求：
本科及以上学历，拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;
精通Hadoop，熟悉大数据生态技术，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等，有大规模集群架构、开发及运维经验;
熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;
熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;
熟练掌握数据仓库设计，开发工作。能够根据业务设计并开发数据仓。
具备源码级问题解决和集群优化改造能力者优先;
能快速的学习新的开源框架和知识体系，并应用到现有架构体系中;
逻辑清晰，快速的学习能力，良好的沟通能力、团队协调能力。
具备良好的团队合作精神，较强的沟通交流能力，具备良好的技术领导能力;
具备良好的文档撰写能力和技术团队管理能力
篇15：大数据架构师的具体职责
职责：
1、负责大数据基础平台的整体规划和架构设计，参与需求分析、技术决策以及详细设计;
2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组，解决系统中的关键问题和技术难题;
3、把握基础业务复杂系统的设计，确保系统的架构质量，编写核心部分代码;
4、持续挑战新的技术方向，攻克大数据量，高并发，稳定性等各种技术难点。
任职资格:
1、计算机或相关专业本科及以上学历;
2、5年以上hadoop的应用开发经验，5年以上数据仓库开发实践经验，至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;
3、良好的编程开发能力，精通PHP及其他开发语言;
4、熟悉mysql等数据库经验，具备优秀的SQL编写、调优能力;
5、熟练掌握Linux常规命令与工具，精通shell, perl, python等脚本语言至少一种;
6、软件基础理论知识扎实，具有良好的数据结构、算法功底;
7、对新技术敏感，学习能力强，乐于接受挑战，具有良好的团队合作精神;
【大数据架构师的主要职责说明】相关文章：
3.大数据时代读后感
5.未来架构师征文
文档为doc格式
