首席Databricks工程师

休斯顿 2天前全职 网络
面议
Dice是技术专家在其职业生涯各个阶段的首选职业目的地。我们的客户DCode Talent正在寻找以下职位。今天通过Dice申请! 职位:首席Databricks工程师 地点:德克萨斯州休斯顿 - Galleria(100%现场) 期限:12个月以上合同 必须拥有Databricks认证 职位描述: 一名首席Databricks工程师,支持以数据现代化、云迁移和高级分析为重点的大规模数据平台计划。这是一个需要深入Databricks专业知识、强大AWS经验,并能够与业务和技术利益相关者紧密合作的高级实践角色。 理想的顾问曾带领复杂的Databricks实施从头到尾,能够进行高级别编码,并具有将传统数据平台现代化为可扩展的云原生架构的经验。 主要职责 • 领导在AWS上企业级Databricks解决方案的设计和实施 • 推动数据现代化计划,包括传统数据平台的提升和重新架构 • 使用Python、PySpark和SQL构建和优化数据管道 • 设计和管理Delta Lake架构,并实施Unity Catalog以进行治理和访问控制 • 开发和支持流式和批处理数据工作负载 • 配置和优化Databricks集群和无服务器计算以提高性能和降低成本 • 将Databricks与上游和下游系统(API、数据源、分析工具)集成 • 与利益相关者合作收集用户和业务需求,并将其转化为技术解决方案 • 实施可观察性、监控和成本控制,包括使用量、体积和定价指标 • 支持与计费、会计、定价和体积指标相关的数据领域 • 为工程团队提供技术领导、最佳实践和指导 所需技能和经验 • 8年以上数据工程经验,最近专注于Databricks的实践 • 在AWS上部署Databricks的丰富经验 • 精通Python、PySpark和SQL的高级编码技能 • 深入了解Delta Lake、Unity Catalog和Databricks工作区治理 • 具有流数据(结构化流、Kafka或类似技术)的经验 • 深刻理解Databricks集群管理、无服务器计算和性能调优 • Databricks认证 • 具有将Databricks与企业系统和数据源集成的经验 • 证明能够直接与业务和技术利益相关者合作 • 优先考虑具有支持财务数据领域(计费、会计、定价、使用指标)经验者 • 强大的沟通能力和领导技术讨论的能力 • 具有AKS / Kubernetes环境经验 • AWS认证 • 在大型企业环境中有咨询或合同背景