Azure Databricks 工程师

蒙特利尔 16天前全职 网络
面议
我们是一家位于不列颠哥伦比亚省温哥华的精品数据和分析咨询公司,帮助加拿大组织制定数据战略、现代化数据平台,并释放数据、分析、机器学习和生成式人工智能的力量。作为包括AWS、Azure和Databricks在内的领先云平台的认证合作伙伴,我们提供能够产生实际业务影响的战略解决方案。我们的团队擅长解决复杂挑战,与客户密切合作,并始终站在新兴技术的前沿。 关于职位 我们正在寻找一位高级Databricks工程师加入我们不断壮大的团队,负责使用Databricks在Azure上设计、构建和优化现代数据平台。您将直接与客户的数据和分析团队合作,帮助他们迁移、现代化和扩展数据工作负载,同时应用数据工程、安全和治理的最佳实践。这是一个动手工程角色,涉及架构决策、客户互动和端到端交付。 职责 - 领导在Databricks上实施现代数据平台和架构(包括ETL、工作负载迁移和Unity Catalog)。 - 使用Azure Databricks(PySpark、SQL)设计和实现数据管道 - 构建和优化批处理和流数据工作负载 - 将遗留数据工作负载迁移到Azure + Databricks - 将Databricks与Azure服务集成,如ADLS、ADF、Azure Key Vault和DevOps/Github - 优化性能和成本(集群大小、作业编排、查询优化) - 与解决方案架构师、分析工程师和客户利益相关者合作 - 为可重用的加速器、标准和内部最佳实践做出贡献 - 通过知识转移和文档支持客户赋能 - 提供动手解决方案交付,包括指导和与客户工程师密切合作,并确保最佳实践。 - 实施治理模型和Unity Catalog,包括数据访问、沿袭和安全框架。 - 评估和优先考虑高价值的AI和ML用例,将生成式AI嵌入客户战略。 - 通过参与客户研讨会、执行圆桌会议和行业讨论,成为思想领袖。 资格 - 5-7年以上数据工程经验。 - 3年以上Databricks实操经验,包括高级功能(Delta Lake、Unity Catalog、MLflow)。 - 具有领导大规模数据迁移(ETL、工作负载、云平台)的经验。 - 在Azure环境中具有丰富的专业知识。多云经验是一个优势。 - 具有使用Azure数据服务(ADLS、ADF、Synapse等)的经验 - 对现代数据架构(湖仓、勋章、ELT/ETL)有扎实理解 - 具有CI/CD数据工作负载经验 - 良好的沟通能力,能够直接与客户合作 - 对企业环境中的数据治理、安全和合规性有出色的理解。 - 咨询经验是强烈优先考虑的。 - 需要Databricks或云认证。 为什么加入我们? - 参与与领先的加拿大组织合作的高影响力项目。 - 成为一个聪明、合作和有趣的团队的一员,该团队重视持续学习。 - 获得培训、认证和指导,以提升您的技能和职业生涯。 - 灵活的工作时间表、远程优先文化和灵活的假期。 - 具有竞争力的薪酬和福利。 在此申请: