高级数据平台工程师

芝加哥 5天前全职 网络
面议
高级平台工程师 我们正在寻找一位高级平台工程师,成为我们团队的核心成员,负责我们Azure Databricks数据工程平台的健康、稳定和增长。我们目前还拥有本地(MS SQL服务器)和云(Palantir Foundry)上的数据平台,该角色将支持这些平台,直到我们迁移到Azure Databricks。在这个角色中,您将成为一名实践专家,积极贡献于平台的卓越运营、安全性和性能。您将成为我们数据工程团队的重要资源,提供技术指导并实施关键增强功能,使他们能够构建可扩展且可靠的数据解决方案。 平台维护与运营:维护平台的日常运营健康,包括监控系统性能、管理升级并确保平台稳定性。 性能和成本优化:积极监控和分析平台使用情况,以识别和实施优化措施。这包括微调作业、优化集群配置以及识别节省成本的机会。 平台KPI报告:开发和维护KPI仪表板,用于平台KPI报告,包括可靠性与稳定性、性能与可扩展性、创新与支持、成本与利用率监控、数据质量与治理,以便向领导层和其他利益相关者报告。 安全和治理:在Databricks环境中维护和增强安全和治理策略,重点使用Unity Catalog管理数据访问、数据沿袭和合规性。 高级故障排除:为数据团队升级的复杂问题提供高级技术支持。诊断和解决平台级问题,并执行根本原因分析(RCA)以防止未来事件。 工具和自动化:维护和增强自动化脚本和CI/CD管道,以简化管理任务并提高平台部署和管理的效率。 平台增强:与内部团队合作,了解他们的需求并为平台的路线图做出贡献。帮助设计和实施新功能、服务和最佳实践,以改善用户体验。 我们致力于创造多元化和包容性的环境,让人们每天都能以真实的自我投入工作。我们是一个平等机会/积极行动的雇主,相信每个人都很重要。合格的候选人将获得就业考虑,无论其种族、肤色、民族、宗教、性别(包括怀孕)、性取向、性别认同和表达、婚姻状况、国籍、祖先、遗传因素、年龄、残疾、受保护的退伍军人身份、军事或制服服务成员身份,或任何其他受适用法律、法规和条例保护的身份或特征。如果您在申请或招聘过程中因残疾需要帮助和/或合理的便利,请发送请求至 要了解更多关于我们如何收集、保留和处理您的私人信息,请查看Insight Global的《员工隐私政策》。 技能和要求 经验:5年以上数据工程、平台工程或DevOps角色的实际经验,重点关注云数据平台。 Azure Databricks专业知识:在管理和操作Azure Databricks环境方面具有丰富的实际经验。证明能够使用Delta Lake、Unity Catalog和Apache Spark等核心功能。相关认证如Microsoft Certified: Azure Solutions Architect Expert、Databricks Certified Data Engineer Professional和Databricks Certified Platform Administrator。 Azure熟练度:对Azure生态系统有扎实的工作知识,包括Azure Data Lake Storage(ADLS)、Azure Active Directory(AAD)和云网络概念。 分布式系统:对分布式计算原理有扎实的理解,并具有在分布式环境中解决问题的经验。 编程与脚本:精通Terraform、Python、Apache Spark/PySpark、SQL和Shell脚本。 基础设施即代码和CI/CD:具有使用基础设施即代码工具(如Terraform)和构建自动化CI/CD管道进行平台和数据应用程序部署的经验。 运营心态:在为生产平台的运营稳定性和性能做出贡献方面具有丰富经验。 沟通能力:优秀的沟通、文档和演示技能,能够影响技术和业务利益相关者。 优先资格 熟悉医疗数据和医疗保险信息流 熟悉数据分析和报告 熟悉ML/AI 计算机科学、工程或相关领域的学士或硕士学位。