Databricks首席工程师(合同)
地点:德克萨斯州休斯顿 - The Galleria(100%现场)
合同期限:12个月(可能延长)
经验:8年以上
开放给绿卡持有者或美国公民
概述
我们正在寻找一位Databricks首席工程师,以支持以数据现代化、云迁移和高级分析为重点的大规模数据平台计划。这是一个需要深入Databricks专业知识、丰富AWS经验以及能够与业务和技术利益相关者紧密合作的高级实践角色。
理想的顾问曾领导过复杂的Databricks实施,从头到尾,可以高水平编码,并具有将传统数据平台现代化为可扩展的云原生架构的经验。
主要职责
• 领导在AWS上设计和实施企业级Databricks解决方案
• 推动数据现代化计划,包括传统数据平台的迁移和重构
• 使用Python、PySpark和SQL构建和优化数据管道
• 设计和管理Delta Lake架构,并实施Unity Catalog以进行治理和访问控制
• 开发和支持流式和批量数据工作负载
• 配置和优化Databricks集群和无服务器计算以提高性能和降低成本
• 将Databricks与上游和下游系统(API、数据源、分析工具)集成
• 与利益相关者合作,收集用户和业务需求并将其转化为技术解决方案
• 实施可观察性、监控和成本控制,包括使用量、容量和定价指标
• 支持与计费、会计、定价和容量指标相关的数据领域
• 为工程团队提供技术领导、最佳实践和指导
所需技能和经验
• 8年以上数据工程经验,最近专注于Databricks
• 在AWS上部署Databricks的丰富经验
• 精通Python、PySpark和SQL的高级编码技能
• 深入了解Delta Lake、Unity Catalog和Databricks工作区治理
• 具有流数据(结构化流、Kafka或类似技术)的经验
• 深刻理解Databricks集群管理、无服务器计算和性能调优
• 具有将Databricks与企业系统和数据源集成的经验
• 证明能够直接与业务和技术利益相关者合作
• 高度优先考虑支持财务数据领域(计费、会计、定价、使用指标)的经验
• 较强的沟通能力和领导技术讨论的能力
• 具有AKS / Kubernetes环境的经验
优选条件
• Databricks或AWS认证
• 在大型企业环境中的咨询或合同背景
工作要求
• 100%现场工作,地点在德克萨斯州休斯顿
• 必须被授权在美国工作