数据工程师 (AWS)

新加坡 1天前合同 网络
4.9万 - 6.6万 / 月
我们的客户,亚太地区领先的组织之一,正在寻找: 数据工程师 (AWS) 职责: • 设计、构建和维护使用 AWS Glue 的强大数据管道 • 实施从多个来源的数据摄取的 ETL/ELT 过程 • 优化数据工作流以提升性能和可扩展性 • 监控和排查数据管道故障和性能问题 • 管理和优化 AWS Redshift 数据仓库操作 • 配置和维护数据存储解决方案 (AWS S3、数据湖) • 实施数据分区、索引和压缩策略 • 支持基础设施即代码 (IaC) 的数据基础设施部署 • 使用 GitLab 开发和维护数据工作流的 CI/CD 管道 • 为数据管道和数据质量实施自动化测试 • 支持数据资产的版本控制和部署策略 • 配置 AWS Lambda 函数以实现数据处理自动化 • 设置数据管道健康监控和警报 • 提供数据相关问题的技术支持 • 与技术团队协作,满足数据架构需求 • 优化查询性能和数据库操作 • 记录数据管道架构和技术规范 • 维护运行手册和操作程序 • 每月召开进展会议 (1 小时) 报告系统健康状况 • 通过 SHIP-HATS Jira 跟踪工程任务 • 在 SHIP-HATS Confluence 上维护技术文档 要求: • 计算机科学、工程、信息技术或相关专业学位,至少 5 年数据工程经验 • 扎实的数据工程和数据管道开发背景 • 精通 SQL、Python 和 Shell 脚本 • 拥有丰富的 AWS 数据服务经验 (Redshift、S3、Glue、Lambda、CloudWatch) • 数据仓库设计和优化经验 • 强大的 CI/CD 管道知识 (优先考虑 GitLab) • 基础设施即代码 (IaC) 经验 (Terraform、CloudFormation) • 了解数据建模和数据库设计原则 • 强大的故障排除和性能优化技能 ---------------------------------------------------------------------------------------------------------------------------------- 有意申请者也可以通过电子邮件将简历发送至 jagveer@nsearchglobal.com (为加快处理,请注明申请的确切职位名称“数据工程师 (AWS)”) 仅通知入围的候选人。 ---------------------------------------------------------------------------------------------------------------------------------- EA 许可证号码:10C3636 EA 人员姓名:Jagveer Singh Arora EA 人员注册号码:R22109615 申请此职位即表示您已阅读并确认数据隐私声明 - http://www.nsearchglobal.com/data-protection-notice/