高级 Azure 数据工程师

1个月前合同
367 - 446 / 时 Compunnel Inc.

Compunnel Inc.

location 多伦多
unsaved
职位描述: • 设计、开发和管理数据管道,以便从不同来源详细提取、转换和加载数据。 • 使用 Terraform 等工具自动化基础设施的配置和部署。 • 与架构、安全和风险团队合作,实施最新的指导方针和 Azure 标准方法。 • 与业务合作伙伴协作,建议与业务目标一致的数据解决方案,以改善决策过程。 候选人要求/必须具备的技能: 1) 具有 6 年以上与 Azure 相关的数据技术的数据工程经验。 2) 对 Azure 基础设施有扎实的理解,包括:订阅、资源组、资源、基于角色的访问控制(RBAC)、与 Azure AD 的集成、Azure 安全原则(用户组、服务主体、托管身份)、网络概念(虚拟网络、子网、安全组规则、私有端点)、密码/凭证/密钥管理和数据保护。 3) 对 Azure Databricks、ADF、ADLS、Synapse 无服务器/专用/Spark 池、Python、PySpark 和 T-SQL 有深入的实践知识,并具有为 Azure 数据工厂和 Azure Databricks 中的 ETL 过程和自动化编写和开发脚本的经验。 4) 在 GIT/Jenkins/开发运维流程方面具有高水平的熟练度,以维护和解决生产中数据管道的问题。 附加技能: • 了解通过 Terraform 实施 Azure 技术和网络,并具备解决生产中 Azure 基础设施问题的能力。 • 具有数据建模、数据集市、数据湖架构、慢变化维度(SCD)、数据网格和 Delta Lake 的经验。 教育背景: • 计算机/IT 或数据相关领域的学士学位或同等经验是必需的。 • 硕士学位更佳。