Dice是技术专家在其职业生涯各个阶段的首选职业目的地。我们的客户DCode Talent正在寻找以下职位。今天通过Dice申请!
职位:首席Databricks工程师
地点:德克萨斯州休斯顿 - Galleria(100%现场)
期限:12个月以上合同
必须拥有Databricks认证
职位描述:
一名首席Databricks工程师,支持以数据现代化、云迁移和高级分析为重点的大规模数据平台计划。这是一个需要深入Databricks专业知识、强大AWS经验,并能够与业务和技术利益相关者紧密合作的高级实践角色。
理想的顾问曾带领复杂的Databricks实施从头到尾,能够进行高级别编码,并具有将传统数据平台现代化为可扩展的云原生架构的经验。
主要职责
• 领导在AWS上企业级Databricks解决方案的设计和实施
• 推动数据现代化计划,包括传统数据平台的提升和重新架构
• 使用Python、PySpark和SQL构建和优化数据管道
• 设计和管理Delta Lake架构,并实施Unity Catalog以进行治理和访问控制
• 开发和支持流式和批处理数据工作负载
• 配置和优化Databricks集群和无服务器计算以提高性能和降低成本
• 将Databricks与上游和下游系统(API、数据源、分析工具)集成
• 与利益相关者合作收集用户和业务需求,并将其转化为技术解决方案
• 实施可观察性、监控和成本控制,包括使用量、体积和定价指标
• 支持与计费、会计、定价和体积指标相关的数据领域
• 为工程团队提供技术领导、最佳实践和指导
所需技能和经验
• 8年以上数据工程经验,最近专注于Databricks的实践
• 在AWS上部署Databricks的丰富经验
• 精通Python、PySpark和SQL的高级编码技能
• 深入了解Delta Lake、Unity Catalog和Databricks工作区治理
• 具有流数据(结构化流、Kafka或类似技术)的经验
• 深刻理解Databricks集群管理、无服务器计算和性能调优
• Databricks认证
• 具有将Databricks与企业系统和数据源集成的经验
• 证明能够直接与业务和技术利益相关者合作
• 优先考虑具有支持财务数据领域(计费、会计、定价、使用指标)经验者
• 强大的沟通能力和领导技术讨论的能力
• 具有AKS / Kubernetes环境经验
• AWS认证
• 在大型企业环境中有咨询或合同背景