数据工程架构师

15个月前合同
Anonymous

Anonymous

location 芝加哥
unsaved
数据工程架构师 - 经理/高级经理 地点:东海岸/远程工作,只要能在东海岸时间工作即可 工作期限:6个月合同期,可转正 职位概述: 我们正在寻找一个精明的高级数据工程架构师加入我们日益壮大的分析专家团队。该聘用人员将主导和领导基于大数据的分析解决方案的架构设计,扩展和优化客户的数据和数据管道架构,并优化跨职能团队的数据流和收集。理想的候选人是一位经验丰富的数据管道构建者和数据整理者,喜欢优化数据系统并从头开始构建它们。数据工程架构师还将负责通过影响高级IT利益相关者来制定战略技术方向,并且必须自我导向并且能够支持多个团队、系统和产品的数据需求。 职责包括: • 设计端到端的大数据平台,确保最佳使用各种技术堆栈进行摄取、分阶段、转换、处理和可视化。 • 定义和主导战略讨论 • 为我们的客户创建和维护最佳的数据管道架构 • 组合满足功能/非功能业务需求的大型复杂数据集。 • 识别、设计和实施流程改进:自动化手动流程、优化数据传递、重新设计基础设施以提高可扩展性等。 • 构建所需的基础设施,以从各种数据源中使用SQL和“大数据”技术进行数据的最佳提取、转换和加载。具有从AWS、Azure和GCP集成数据的数据管道开发经验) • 构建利用数据管道的分析工具,为客户获取有关客户获取、运营效率和其他关键业务绩效指标的可行洞察。 • 与干系人(包括高管、产品、数据和设计团队)合作,解决与数据相关的技术问题,并支持他们的数据基础设施需求。 • 应能根据客户要求保持数据的分离和安全 • 与数据和分析专家合作,努力提高我们的数据系统功能。 要求: • 你拥有计算机工程或相关领域的学士或硕士学位,并具有10年以上软件开发的工作或研究经验 • 有大数据技术的经验(Hadoop、Spark、Kafka等) • 有关系型SQL(Oracle)和NoSQL数据库(Postgres、Cassandra、MongoDB等)的经验 • 有数据管道和工作流管理工具的经验:SnapLogic、StreamSets、Azkaban、Luigi、Airflow等。 • 有AWS云服务的经验:EC2、EMR、RDS、Redshift • 有流处理系统的经验:Storm、Spark-Streaming等。 • 有面向对象/面向函数脚本语言的经验:Python、Java、C++、Scala等。 • 构建支持数据转换、数据结构、元数据、依赖和工作负载管理的过程 • 有在云上工作的经验(iPaas / Saas) 所需软技能: • 强大的人际交往和沟通能力。 • 独立解决问题的能力。 • 快速独立学习新技能/技术的能力。 • 能够在团队中工作并在截止日期之前完成分配的任务。 • 能够成为一名优秀的团队合作者,并且应具备灵活出差的能力。 • 高管存在感和领导素质