高级 Azure 数据工程师

多伦多 12天前合同 网络
面议
您好, 希望您一切安好。 我们有一个紧急职位,详情如下。如果您感兴趣,请发送您最新的简历以及期望的薪资。 职位角色:高级数据工程师 地点:加拿大安大略省多伦多(每周现场工作4天 - 多伦多市中心) 职位描述: 关于该角色: 我们正在寻找一位经验丰富的高级数据工程师(10年以上),负责在 Microsoft Azure 上设计和优化可扩展的数据解决方案。您将使用 Snowflake 进行数据仓库管理,并在 Lakehouse 架构内使用 Databricks 进行大数据处理,遵循金银铜的原则(Bronze, Silver, Gold)。 主要职责: • 数据管道:使用 Azure Data Factory、Databricks(PySpark、SQL)构建和优化 ETL/ELT 管道,并从各种来源将数据导入 ADLS 和 Snowflake。 • Databricks 开发:创建和调整 Spark 作业,利用 Delta Lake、Autoloader 和高级优化技术。 • 数据仓库:设计和管理 Snowflake 模式、查询和性能调优。 • 数据质量与治理:实施安全性、数据血缘、验证框架和合规政策。 • 编程:使用 Python、PySpark、Scala 和高级 SQL 进行数据处理和自动化开发。 • 合作:与数据架构师合作,并指导初级工程师。 • DevOps:使用 Azure DevOps 维护 CI/CD 管道;排除故障并优化性能。 所需技能: • 精通 Azure 服务(ADF、Databricks、ADLS、Key Vault)。 • 拥有强大的 Snowflake 经验(数据建模、优化、Snowpipe)。 • 精通 Python、PySpark、Scala 和高级 SQL。 • 对 Delta Lake、Autoloader、Z-ordering 和分区有一定了解。 • 熟悉 CI/CD、Git 工作流和数据安全最佳实践。 • 有 JSON、Parquet 和 CSV 格式的经验。 优先资格: • 计算机科学或相关领域的学士/硕士学位。 • Azure 数据工程师和 Databricks 认证。 -- 谢谢与祝好 Ritik Sahu || Raas Infotek 直线电话:302 286 9939 分机:109 电子邮件:ritik.sahu@raasinfotek.com LinkedIn: https://www.linkedin.com/in/ritik-sahu-745129193/