首席数据工程师 - Databricks、PySpark 和 AWS

休斯顿 10天前合同 网络
面议
Databricks首席工程师(合同) 地点:德克萨斯州休斯顿 - The Galleria(100%现场) 合同期限:12个月(可能延长) 经验:8年以上 开放给绿卡持有者或美国公民 概述 我们正在寻找一位Databricks首席工程师,以支持以数据现代化、云迁移和高级分析为重点的大规模数据平台计划。这是一个需要深入Databricks专业知识、丰富AWS经验以及能够与业务和技术利益相关者紧密合作的高级实践角色。 理想的顾问曾领导过复杂的Databricks实施,从头到尾,可以高水平编码,并具有将传统数据平台现代化为可扩展的云原生架构的经验。 主要职责 • 领导在AWS上设计和实施企业级Databricks解决方案 • 推动数据现代化计划,包括传统数据平台的迁移和重构 • 使用Python、PySpark和SQL构建和优化数据管道 • 设计和管理Delta Lake架构,并实施Unity Catalog以进行治理和访问控制 • 开发和支持流式和批量数据工作负载 • 配置和优化Databricks集群和无服务器计算以提高性能和降低成本 • 将Databricks与上游和下游系统(API、数据源、分析工具)集成 • 与利益相关者合作,收集用户和业务需求并将其转化为技术解决方案 • 实施可观察性、监控和成本控制,包括使用量、容量和定价指标 • 支持与计费、会计、定价和容量指标相关的数据领域 • 为工程团队提供技术领导、最佳实践和指导 所需技能和经验 • 8年以上数据工程经验,最近专注于Databricks • 在AWS上部署Databricks的丰富经验 • 精通Python、PySpark和SQL的高级编码技能 • 深入了解Delta Lake、Unity Catalog和Databricks工作区治理 • 具有流数据(结构化流、Kafka或类似技术)的经验 • 深刻理解Databricks集群管理、无服务器计算和性能调优 • 具有将Databricks与企业系统和数据源集成的经验 • 证明能够直接与业务和技术利益相关者合作 • 高度优先考虑支持财务数据领域(计费、会计、定价、使用指标)的经验 • 较强的沟通能力和领导技术讨论的能力 • 具有AKS / Kubernetes环境的经验 优选条件 • Databricks或AWS认证 • 在大型企业环境中的咨询或合同背景 工作要求 • 100%现场工作,地点在德克萨斯州休斯顿 • 必须被授权在美国工作