职位编号:3014728
类型:12个月合同起始
地点:休斯顿,德克萨斯州 77046
时间安排:周二至周四现场办公,周一和周五远程办公
职位描述:
主要负责管理和维护内部产品和工作流程。
具有在 AWS Glue 中使用 Python 编程的经验。
监督目前由离岸资源管理的遗留集成;遗留集成是用 SSIS 构建的——具备此技能会更好。离岸团队仍主要负责这些工作,但这位工程师将与他们密切合作。
数据源主要是本地的,SQL、Oracle 和 SAP 正在迁移到 AWS 数据湖。ODAP 工具生成一个定制的管道(Python/Glue),将数据从源头带到数据湖。
目前主要是事务性数据移动,但正在向更多实时/近实时方向发展。具备实时管道开发技能的理想人选将有助于其中一些迁移。
编排在 Airflow 中运行,但其他工具在这里也可以接受。
主要负责维护现有的 ETL 作业和集成,但如果有功能增强或性能改进的机会,他们将负责此事。
中级水平可以开始,开放让他们在职位中成长,但最终将担任某种领导角色。
将负责 CI/CD 部署——对任何工具开放,例如 Jenkins、Github Actions
必须具备:
- Python
- AWS Glue
- ETL 开发和 ETL 作业管理
- ETL 管道编排(首选 Airflow,其他工具/Step Functions 也可以)
- CI/CD
加分项:
- 实时流(有批处理/事务性数据工作负载迁移到实时/近实时的经验)
- SSIS