关于 Xenon7:
我们与领先的企业和创新型初创公司合作,开展激动人心的前沿项目,利用最新的技术,涵盖 IT 的各个领域,包括数据、网络、基础设施、人工智能等。
我们在 IT 解决方案开发和按需资源方面的专业知识使我们能够与客户合作,推动变革性举措,促进创新和业务增长。
我们致力于提供先进且具有影响力的解决方案,以应对当今最复杂的挑战。
角色概述:
我们正在寻找一位数据架构师,负责大型湖仓迁移的架构设计和战略。这一角色涉及定义技术路线图、数据治理以及利用 Databricks 和云原生工具的最佳实践。
• 设计湖仓迁移的端到端架构,与业务和技术目标保持一致
• 使用 Unity Catalog 建立数据治理框架,并支持数据血缘、访问和合规性
• 指导工程团队使用 PySpark 和 SQL 进行可扩展的数据建模和处理策略
• 定义工作流编排、代码质量和 CI/CD 的标准,使用基于 Git 的工具
• 评估和优化系统架构,以提高性能、降低成本和易维护性
• 与云架构师和平台团队合作,根据需要与 AWS/Azure 服务集成
• 记录架构决策、模式和迁移计划
要求:
• 计算机科学、数据科学或相关领域的学士或硕士学位
• 11 年以上数据架构或高级数据工程角色的经验
• 在 Databricks 平台,尤其是 Unity Catalog、工作流和笔记本方面的专业知识
• 深刻理解湖仓架构概念及其实施
• 具备 PySpark、Python 和 SQL 的强大实践经验
• 熟悉 Git(Bitbucket 或 GitHub)和 CI/CD 流程
• 出色的沟通和利益相关者管理技能
附加优先条件:
• 有 Snowflake 或其他现代数据平台的经验
• 具备 AWS 或 Azure 的云架构知识
• 熟悉 Jenkins 或其他编排/自动化框架
职位级别:中高级
雇佣类型:合同