我们的客户,亚太地区领先的组织之一,正在寻找:
数据工程师 (AWS)
职责:
• 设计、构建和维护使用 AWS Glue 的强大数据管道
• 实施从多个来源的数据摄取的 ETL/ELT 过程
• 优化数据工作流以提升性能和可扩展性
• 监控和排查数据管道故障和性能问题
• 管理和优化 AWS Redshift 数据仓库操作
• 配置和维护数据存储解决方案 (AWS S3、数据湖)
• 实施数据分区、索引和压缩策略
• 支持基础设施即代码 (IaC) 的数据基础设施部署
• 使用 GitLab 开发和维护数据工作流的 CI/CD 管道
• 为数据管道和数据质量实施自动化测试
• 支持数据资产的版本控制和部署策略
• 配置 AWS Lambda 函数以实现数据处理自动化
• 设置数据管道健康监控和警报
• 提供数据相关问题的技术支持
• 与技术团队协作,满足数据架构需求
• 优化查询性能和数据库操作
• 记录数据管道架构和技术规范
• 维护运行手册和操作程序
• 每月召开进展会议 (1 小时) 报告系统健康状况
• 通过 SHIP-HATS Jira 跟踪工程任务
• 在 SHIP-HATS Confluence 上维护技术文档
要求:
• 计算机科学、工程、信息技术或相关专业学位,至少 5 年数据工程经验
• 扎实的数据工程和数据管道开发背景
• 精通 SQL、Python 和 Shell 脚本
• 拥有丰富的 AWS 数据服务经验 (Redshift、S3、Glue、Lambda、CloudWatch)
• 数据仓库设计和优化经验
• 强大的 CI/CD 管道知识 (优先考虑 GitLab)
• 基础设施即代码 (IaC) 经验 (Terraform、CloudFormation)
• 了解数据建模和数据库设计原则
• 强大的故障排除和性能优化技能
----------------------------------------------------------------------------------------------------------------------------------
有意申请者也可以通过电子邮件将简历发送至 jagveer@nsearchglobal.com (为加快处理,请注明申请的确切职位名称“数据工程师 (AWS)”)
仅通知入围的候选人。
----------------------------------------------------------------------------------------------------------------------------------
EA 许可证号码:10C3636
EA 人员姓名:Jagveer Singh Arora
EA 人员注册号码:R22109615
申请此职位即表示您已阅读并确认数据隐私声明 - http://www.nsearchglobal.com/data-protection-notice/