高级员工工程师 – 数据湖仓平台

芝加哥 2天前全职 网络
76.5万 - 180.9万 / 年
在GEICO,我们提供一份有意义的职业生涯,在这里您的抱负与无限的可能性相遇。 每天,我们通过为数百万客户提供优质的保险覆盖,并在他们最需要我们的时候给予支持,来尊重我们的标志性品牌。我们通过不懈的创新来超越客户的期望,同时通过我们的共同目标为公司带来真正的影响。 当您加入我们的公司时,我们希望您感到被重视、得到支持,并为在这里工作感到自豪。这就是为什么我们提供GEICO承诺:伟大的公司、伟大的文化、丰厚的奖励和伟大的职业生涯。 职位概述 GEICO正在寻找一位经验丰富的工程师,热衷于构建高性能、低维护、零停机的平台和核心数据基础设施。您将帮助推动我们的保险业务转型,从传统的IT模式转变为以工程卓越为使命的技术组织,同时共同创造心理安全和持续改进的文化。 职位描述 我们的员工/高级员工工程师是工程团队的重要成员,在整个组织中工作,以创新并将最佳的开源数据基础设施和实践引入GEICO,因为我们正在启动一个绿色项目,为公司各个业务领域的所有核心数据用例实施核心数据湖仓。 职位职责 作为高级员工工程师,您将: - 规划、设计和构建可扩展、弹性的数据湖仓组件 - 与同行和领导层进行架构会议和审查 - 领导新的软件评估并通过新工具进行创新 - 设计并领导计算效率项目的开发和实施,如智能Spark自动调优功能 - 推动性能回归测试、基准测试和持续性能分析 - 对解决方案的质量、可用性和性能负责 - 确定和支持资源需求,评估操作流程,衡量结果以确保达到预期结果,并展示适应性和支持持续学习 - 与客户、团队成员和其他工程团队合作,解决我们最棘手的问题 - 成为榜样和导师,帮助提升我们工程社区的技术专长和知识 - 一贯分享最佳实践并改进团队内外的流程 - 分享您对最新开源项目的热情,尝试和学习最新技术,参与内部和外部OSS技术社区,并指导工程社区的其他成员 资格 - 深入了解Spark内部,包括Catalyst、Tungsten、AQE、CBO、调度、洗牌管理和内存调优 - 在超大规模Spark计算平台上调优和优化Spark作业的丰富经验 - 精通Spark配置参数、资源调优、分区策略和作业执行行为 - 具有构建自动优化系统的经验——从配置自动调优器到反馈循环和自适应管道 - 需要Scala、Java和Python的强大软件工程技能 - 能够构建工具以大规模展示有意义的性能见解 - 深刻理解基于云的Spark环境中的自动扩展和成本效率策略 - 出色的设计和开发能力,进行实验,并影响工程方向和产品路线图 - 在开发新的和增强现有的基于开源的数据湖仓平台组件方面的高级经验 - 在培养与开源软件项目的关系和贡献方面的经验 - 具有开源表格式(Apache Iceberg、Delta、Hudi或同等)的经验 - 具有开源计算引擎(Apache Spark、Apache Flink、Trino/Presto或同等)的高级经验 - 具有云计算(AWS、Microsoft Azure、Google Cloud、混合云或同等)的经验 - 在开发可扩展、弹性和高可用的分布式系统方面的专业知识 - 具有容器技术如Docker和Kubernetes平台开发的经验 - 具有持续交付和基础设施即代码的经验 - 深入了解DevOps概念和云架构 - 具有Azure网络(订阅、安全分区等)或同等的经验 优先资格 - 活跃或过去的Apache Spark提交者(或对OSS Apache Spark的重大代码贡献) - 具有基于ML的优化技术经验(例如,强化学习、贝叶斯调优、预测模型) - 对其他大数据/开源项目的贡献(例如,Delta Lake、Iceberg、Flink、Presto、Trino) - 在设计性能回归框架和基准套件方面的背景 - 深入了解Spark加速器(Spark RAPIDS、Apache Gluten、Apache Comet、Apache Auron等)的提交者身份是一个加分项 - 擅长记录方法并撰写出版风格的论文、白皮书和内部研究简报 经验 - 10年以上数据软件开发、编程语言和大数据技术开发的专业经验 - 8年以上架构和设计经验 - 6年以上分布式系统经验,其中至少3年专注于Apache Spark - 6年以上开源框架经验 - 4年以上AWS、GCP、Azure或其他云服务经验 教育 - 计算机科学、软件工程或相关领域(如物理或数学)的学士或硕士学位 年薪 $110,000.00 - $260,000.00 上述年薪范围是一般指导原则。多个因素被考虑在内,以确定向选定候选人提供的最终小时费率/年薪。因素包括但不限于角色的范围和职责、选定候选人的工作经验、教育和培训、工作地点以及市场和业务考虑。 目前,GEICO不会为该职位的新申请人提供就业授权担保。 GEICO承诺: 伟大的公司:在GEICO,我们帮助客户度过生活的曲折。我们的使命是在他们最需要的时候保护他们,并且我们不断发展以满足他们的需求。 我们是一个依靠创新、超越客户期望并实现集体成功的标志性品牌。从第一天起,您将面临令人兴奋的挑战,帮助您成长并与希望对人们的生活产生积极影响的动态团队合作。 伟大的职业生涯:我们提供一个职业生涯,您可以通过个性化的发展计划学习、成长和茁壮成长,这些计划是根据您的职业生涯和潜力量身定制的。您将获得行业领先的培训、认证援助、职业指导和各级支持领导的辅导。 伟大的文化:我们培养一种共享成功的包容性文化,根植于诚信、行动偏好和胜利心态。以我们的核心价值观为基础,我们建立了一种关怀、包容和归属的文化,重视不同的观点。我们的团队由动态、多方面的团队领导,由支持型领导驱动,通过卓越的表现统一在共同的目标下。 作为我们文化的一部分,我们还提供员工参与和认可计划,以奖励我们的工作对客户生活产生的积极影响。 丰厚的奖励:我们提供的薪酬和福利旨在提升您的身体健康、心理和情感健康以及财务未来。 - 综合全面的总奖励计划,提供为您和您的家人量身定制的个性化覆盖,以确保整体健康。 - 财务福利包括市场竞争力的薪酬;从第一天起就有6%匹配的401K储蓄计划;基于绩效和认可的激励措施;以及学费援助。 - 访问其他福利,如心理健康护理以及生育和领养援助。 - 支持灵活性——我们提供工作场所灵活性以及我们的GEICO Flex计划,该计划允许每年在美国的任何地方工作长达四周。 GEICO公司的平等就业机会政策为所有员工和求职者提供公平和平等的就业机会,无论种族、肤色、宗教信仰、国籍、祖先、年龄、性别、怀孕、性取向、性别认同、婚姻状况、家庭状况、残疾或遗传信息,符合适用的联邦、州和地方法律。GEICO仅根据个人的职位资格进行招聘和晋升。 GEICO合理地为符合条件的残疾人士提供便利,使他们能够获得平等的就业机会和/或履行工作的重要职能,除非该便利会对公司造成不当困难。这适用于所有申请人和员工。GEICO还提供一个工作环境,使每位员工能够高效工作并发挥最佳能力。我们不容忍或纵容恐吓或骚扰的氛围。我们期望并要求所有员工合作,以维护一个没有歧视和骚扰的氛围,并相互尊重所有员工和申请人。