职位描述:
我们正在寻找一位技术娴熟且经验丰富的高级数据工程师加入我们的团队。理想的候选人应具备数据工程的扎实背景,专注于Matillion、SSIS、Azure DevOps和ETL流程。此角色将涉及设计、开发、测试和部署ETL作业,与跨职能团队合作,并确保高效的数据处理。
主要职责:
根据项目要求设计、开发、测试和部署Matillion ETL作业。
与数据和BI团队合作,了解数据集成需求并将其转化为Matillion ETL解决方案。
在Matillion作业中创建和修改Python代码/组件。
识别性能优化的机会并实施改进措施,以确保高效的数据处理。
与跨职能团队合作,包括数据库管理员、数据工程师和业务分析师,以确保ETL流程的无缝集成。
为Matillion ETL作业创建和维护全面的文档,确保团队内的知识转移。
创建、测试和部署SQL Server Integration Service (SSIS) 包,并通过Active Batch调度工具进行调度。
使用Azure DevOps CI/CD管道创建Matillion部署构建并执行发布管理活动。
审核其他开发人员(L2、L3-BI/DI)的代码,以确保代码标准,并作为代码审核活动的一部分提供批准。
根据值班安排解决来自L2团队的升级票据。
具备API和Postman工具的工作知识是一个额外的优势。
资格:
计算机科学、工程或相关领域的学士或硕士学位。
5年以上数据工程经验,专注于ETL流程。
精通Matillion、SSIS、Azure DevOps和ETL。
具备SQL、Python和数据集成技术的深厚知识。
具有性能优化和数据处理改进的经验。
优秀的协作和沟通能力。
能够在快节奏、动态的环境中工作。
优先技能:
具有AWS或Azure等云平台的经验。
具备数据仓库和数据建模的知识。
熟悉DevOps实践和CI/CD管道。
具备较强的问题解决能力和对细节的关注。