职位概述：我们正在寻找一位熟练的Azure技术负责人（Lead Azure Data Engineer），具备使用Azure Data Factory和Azure Databricks构建可扩展数据管道的丰富经验。理想的候选人应具有扎实的数据工程背景，尤其是在将传统ETL工作负载迁移到云端现代ELT架构方面。您将直接与客户利益相关者合作，并且必须能够在与美国业务时间重叠的情况下工作。
主要职责：
- 设计、开发和维护Azure Data Factory（ADF）管道和Azure Databricks（ADB）笔记本，使用PySpark。
- 将传统RDBMS/ETL工作负载迁移到Azure上的现代数据湖/ELT架构。
- 分析、设计和实施涉及Azure数据湖和数据集市的可扩展解决方案。
- 直接与业务和技术利益相关者合作，收集需求并交付解决方案。
- 确保数据管道开发的性能、安全性和DevOps最佳实践。
必须具备的技能：
- 在Azure数据工程工具方面的专业知识：
- Azure Data Factory（ADF）
- Azure Databricks（ADB）
- Azure Data Lake Storage Gen2
- Azure SQL DB
- Azure DevOps
- Key Vault，存储账户
- 拥有丰富的PySpark和PL/SQL实际操作经验
- 具有将传统ETL工作负载迁移到基于云的ELT/数据湖架构的经验
理想技能：
- 拥有DataStage和SQL Server的经验
- 强大的沟通和协作能力
- 能够在与美国时区重叠的情况下从事面向客户的工作
