角色：数据质量保证
地点：加拿大多伦多
主要职责：
• 开发并实施测试策略、测试用例和自动化脚本，以验证 Azure 和 Databricks 环境中的数据管道。
• 执行数据验证、对账和源系统与目标系统之间的比较分析。
• 验证使用 ADF 和 Databricks 构建的 ETL/ELT 管道。
• 与数据工程师和产品负责人合作，理解 STM（源到目标映射），确保转换逻辑正确实施。
• 监控并验证 Delta 表和数据仓库中的数据质量。
• 识别数据异常，记录缺陷，并与工程团队推动解决。
• 通过将数据测试整合到 DevOps 工作流中，支持 CI/CD 管道。
• 参与测试数据管理、元数据验证和回归测试。
• 定期提供测试执行结果、缺陷指标和质量保证健康状况的报告。
所需技能：
• 在基于云的数据平台上拥有数据质量保证/验证的丰富经验。
• 精通 Azure 数据工厂和 Databricks。
• 熟练使用 SQL 和 Python 等脚本语言。
• 具备数据分析、数据对账和模式验证的实践经验。
• 理解 SCD 类型 2 和数据转换逻辑。
• 熟悉 DevOps 工具，如 Azure DevOps 或 GitHub Actions，以进行 CI/CD 集成。
• 具备处理大数据集、性能测试和数据血缘工具的经验。 
多伦多