ETL开发人员

休斯顿 1个月前合同 网络
面议
该职位已过期,不再接受申请。
职位编号:3014728 类型:12个月合同起始 地点:休斯顿,德克萨斯州 77046 时间安排:周二至周四现场办公,周一和周五远程办公 职位描述: 主要负责管理和维护内部产品和工作流程。 具有在 AWS Glue 中使用 Python 编程的经验。 监督目前由离岸资源管理的遗留集成;遗留集成是用 SSIS 构建的——具备此技能会更好。离岸团队仍主要负责这些工作,但这位工程师将与他们密切合作。 数据源主要是本地的,SQL、Oracle 和 SAP 正在迁移到 AWS 数据湖。ODAP 工具生成一个定制的管道(Python/Glue),将数据从源头带到数据湖。 目前主要是事务性数据移动,但正在向更多实时/近实时方向发展。具备实时管道开发技能的理想人选将有助于其中一些迁移。 编排在 Airflow 中运行,但其他工具在这里也可以接受。 主要负责维护现有的 ETL 作业和集成,但如果有功能增强或性能改进的机会,他们将负责此事。 中级水平可以开始,开放让他们在职位中成长,但最终将担任某种领导角色。 将负责 CI/CD 部署——对任何工具开放,例如 Jenkins、Github Actions 必须具备: - Python - AWS Glue - ETL 开发和 ETL 作业管理 - ETL 管道编排(首选 Airflow,其他工具/Step Functions 也可以) - CI/CD 加分项: - 实时流(有批处理/事务性数据工作负载迁移到实时/近实时的经验) - SSIS