高级数据平台工程师, 大数据 / Hadoop

芝加哥 22天前全职 网络
96.2万 - 144.2万 / 年
我们决心有所作为,并为成为一家超越保险保障和政策的公司而感到自豪。在这里工作意味着拥有实现您目标的每一个机会,并帮助他人实现他们的目标。加入我们的团队,共同塑造未来。 哈特福德公司正在寻找一位经验丰富的高级数据平台工程师,加入我们的云大数据平台工程与运营团队。此角色在培养以客户为中心的思维方式以及确保我们的数据平台的稳定性、可扩展性和可靠性方面至关重要,以支持企业内数据和分析应用程序不断变化的需求。 作为技术负责人,您将运用在 AWS 大数据 / EMR 基础设施、基础设施即代码 (IaC)、安全性、自动化和可观察性方面的深厚专业知识,设计、优化和维护强大且可扩展的解决方案。您将与数据工程师紧密合作,分析需求和挑战,推荐平台驱动的解决方案,以最大化性能和效率。 我们正在寻找一位充满热情的技术专家,能够在动态、快节奏的环境中蓬勃发展,并致力于构建具有韧性、面向未来的数据平台。您将指导和辅导其他平台和可靠性工程师,促进技术卓越、创新和协作的文化。 职责: • 管理和设计云中多个 Hadoop 集群的 大数据 平台(AWS EMR),包括无服务器和容器化环境,以确保可扩展性、性能和可靠性。 • 通过基础设施即代码 (IAC) 设计、实施和维护高度可扩展和弹性的多租户数据平台,符合哈特福德公司的工程、安全和治理原则。 • 确保运营卓越,独立推动所有高影响事件的分类和服务恢复,以最小化服务恢复的平均时间和对业务的影响。展示端到端的所有权。 • 应用站点可靠性工程 (SRE) 原则,设计和实施强大的工具、主动警报和自动响应机制,以识别、减轻和解决可靠性风险,专注于预防、早期检测和通过自动化的持续改进。 • 拥有并发展平台、PaaS 和 SaaS 解决方案的架构,以满足当前和未来的业务需求,推动创新、可扩展性和运营卓越。 • 参与值班轮换,在服务影响事件期间提供实地技术专长,以确保快速诊断、有效解决和系统可靠性的持续改进。 • 评估、实施和管理新兴数据技术,重点关注大数据、分析、数据处理、商业智能和数据可视化,以推动创新和效率。 • 作为数据平台、工具和应用接口的主题专家和技术负责人,推动根本原因分析,解决复杂技术问题,确保平台的可靠性和性能。 • 为初级和中级数据工程师提供技术领导和指导,促进技能发展并推广工程最佳实践。 • 通过为数据处理、探索和分析提供自助服务能力,协作并赋能数据工程师、数据科学家和业务分析师。 • 开发培训材料并提供终端用户培训课程,以推动采用,确保有效使用数据解决方案,并增强客户参与度。 • 支持数据资产的文档、元数据管理和可视化,以促进数据可发现性、透明度和自助分析。 • 通过建立强大的团队承诺以实现共同优先事项和战略目标,促进问责和协作文化。 资格: • 计算机科学、计算机工程或相关领域的学士学位(或国外同等学位)。相关经验可以通过合格的研究生学术项目获得。 • 在平台管理、大数据技术、数据工程、分析和运营方面拥有广泛的专业知识。 • 熟练掌握包括 Hadoop、Linux、Python、SQL、Spark、Kerberos、云平台、安全协议、性能调优、机器学习算法、生产工程、作业调度和运营支持在内的广泛工具和概念。 • 至少 7 年在 IT、平台管理、数据库管理、分析方面的逐步和多样化经验,或等同的教育和工作经验的组合。 • 至少 3 年在 AWS 上使用基础设施即代码(CloudFormation、Terraform、Ansible)和 CICD 管道(Jenkins、Nexus、AWS CodeBuild、CodeDeploy 或 CodePipeline)开发平台解决方案的实操经验。 • 至少 3 年为开发人员或平台管理员提供架构指导和技术方向的经验。 • 具备数据工程知识,接触过使用数据库平台设计和构建数据应用程序。 • 职责应包括数据摄取、数据准备、ETL 过程、数据聚合、数据挖掘以及数据库和分析应用程序的开发。 • 通过变更管理和事件管理流程管理变更的经验。 • 在实施可靠性工程实践和利用 Splunk、Dynatrace、CloudWatch 等可观察性仪表板方面的经验将是加分项。 • 能够快速学习新技术,并在 6-12 个月内熟练执行主要工作职责。 • 较强的分析能力、问题分析技巧和广泛的替代技术知识。 • 较强的沟通能力,能够与业务和 IT 资源有效合作。 优先技能: • 在主要 AWS 服务(EMR、EKS、EC2、IAM、RDS、Route53 和 S3 等)方面具有高级经验。 • 使用 CloudFormation / Terraform 进行配置管理的经验。 • 在编程和/或脚本语言(Python、bash)方面具有高级经验。 • 优先拥有“AWS 解决方案架构师认证”。 • 优先拥有“Cloudera 管理员认证”。 此角色将采用混合工作安排,预计每周在办公室(哥伦布,俄亥俄州,芝加哥,伊利诺伊州,哈特福德,康涅狄格州或夏洛特,北卡罗来纳州)工作 3 天(周二至周四)。 候选人必须被授权在美国工作,无需公司赞助。公司将不支持该职位的 STEM OPT I-983 培训计划背书。 薪酬 列出的年薪范围主要基于对外部市场中类似职位的分析。实际基本薪酬可能会有所不同,可能高于或低于列出的范围,具体取决于包括但不限于绩效、熟练程度和角色所需能力的展示。基本薪酬只是哈特福德公司员工总薪酬包的一部分。其他奖励可能包括短期或年度奖金、长期激励和即时认可。此角色的年薪范围为: $136,000 - $204,000 平等机会雇主/性别/种族/肤色/退伍军人/残疾/性取向/性别认同或表达/宗教/年龄 关于我们 | 我们的文化 | 在这里工作的感觉 | 福利与待遇