Databricks 数据架构师

无个税22天前全职
23.5万 - 29.3万 / 年 Xenon7

Xenon7

location 迪拜
unsaved
关于 Xenon7: 我们与领先的企业和创新型初创公司合作,开展激动人心的前沿项目,利用最新的技术,涵盖 IT 的各个领域,包括数据、网络、基础设施、人工智能等。 我们在 IT 解决方案开发和按需资源方面的专业知识使我们能够与客户合作,推动变革性举措,促进创新和业务增长。 我们致力于提供先进且具有影响力的解决方案,以应对当今最复杂的挑战。 角色概述: 我们正在寻找一位数据架构师,负责大型湖仓迁移的架构设计和战略。这一角色涉及定义技术路线图、数据治理以及利用 Databricks 和云原生工具的最佳实践。 • 设计湖仓迁移的端到端架构,与业务和技术目标保持一致 • 使用 Unity Catalog 建立数据治理框架,并支持数据血缘、访问和合规性 • 指导工程团队使用 PySpark 和 SQL 进行可扩展的数据建模和处理策略 • 定义工作流编排、代码质量和 CI/CD 的标准,使用基于 Git 的工具 • 评估和优化系统架构,以提高性能、降低成本和易维护性 • 与云架构师和平台团队合作,根据需要与 AWS/Azure 服务集成 • 记录架构决策、模式和迁移计划 要求: • 计算机科学、数据科学或相关领域的学士或硕士学位 • 11 年以上数据架构或高级数据工程角色的经验 • 在 Databricks 平台,尤其是 Unity Catalog、工作流和笔记本方面的专业知识 • 深刻理解湖仓架构概念及其实施 • 具备 PySpark、Python 和 SQL 的强大实践经验 • 熟悉 Git(Bitbucket 或 GitHub)和 CI/CD 流程 • 出色的沟通和利益相关者管理技能 附加优先条件: • 有 Snowflake 或其他现代数据平台的经验 • 具备 AWS 或 Azure 的云架构知识 • 熟悉 Jenkins 或其他编排/自动化框架 职位级别:中高级 雇佣类型:合同