职位描述
我们在银行业务领域的客户正在寻找一位数据工程师Azure数据湖专家。该顾问将成为数据平台团队的一员,协助多个项目中的数据转换和多种需求。工作的主要内容将涉及数据准备、设计、构建和开发管道,以测试企业Delta Lake中的数据质量。工程师还将参与制定一项自动化和加速BDC用户新分析平台测试的策略。
我们理想情况下寻找独立承包商。这是一个全职混合合同,有可能延长/转为永久机会。
职责/责任:
• 使用Databricks对不同层次的数据进行转换和测试
• 使用Spark/Python或SQL开发管道
• 使用Azure DevOps管道自动化测试策略
• 参与测试用例的开发和优化测试策略的制定
• 发展数据质量验证的最佳实践
要求:
• 全面双语
• 2年Spark/Python开发经验
• 2年Databricks经验
• 2年SQL开发经验
• 3年数据处理项目经验
• 有Azure DevOps经验
职位类型:全职,永久
薪资:每小时65.00-75.00美元
预期工作时间:每周40小时
经验:
• Azure DevOps:3年(必需)
• Spark:3年(必需)
• SQL:3年(必需)
• Python:2年(必需)
• 数据处理:2年(必需)