AWS 负责人 数据工程师

多伦多 8天前全职 网络
面议
Akkodis 正在为安大略省多伦多的一位客户寻找一位 负责 AWS 平台/数据工程 的负责人,合同职位(混合办公)。理想的候选人应具备 10 至 12 年的大数据经验,熟悉 Python、SQL、Spark 和 Terraform,能够使用原生服务和可配置的 AWS 服务在 AWS 上设计和实施数据管道,包括 Amazon Neptune 数据库,至少 5 年 AWS 数据相关经验,具备 AWS 服务的丰富经验:S3、Lake Formation、Glue、EMR、EC2 Athena、Lambda、EventBridge、SNS、SQS,优先考虑在大型组织中具备所需技能和经验的候选人。 职位:负责 AWS 平台/数据工程的负责人 地点:多伦多,安大略省(每周 4 天现场) 注意: 要求至少 12 年以上的经验;少于 12 年经验的简历将被客户拒绝。 招聘经理的通话备注: • 精通 Python、SQL、Spark、Terraform 及 AWS 服务:S3、Lake Formation、Glue、EMR、EC2 Athena、Lambda、EventBridge、SNS、SQS • 在 AWS 上使用原生服务和可配置的 AWS 服务设计和实施数据管道的实践经验 • 熟悉 Amazon Neptune 数据库 • 有领导团队的成功经验,具备良好的沟通能力 • 在 AWS(数据为中心)方面有 5 年以上的经验,及 10 至 12 年的大数据经验 必须具备的技术/功能技能 客户正在寻找具备以下技能的工程师: • AWS 服务的丰富经验:S3、Lake Formation、Glue、EMR、EC2 Athena、Lambda、EventBridge、SNS、SQS • 在数据工程任务中具备 SQL、Python 和 Spark 的丰富经验 • 精通 Terraform • 在 AWS 上使用原生和可配置的 AWS 服务设计和实施数据管道的经验 • 出色的设计和故障排除能力 • 精通 Apache Spark 进行分布式数据处理 • 熟悉 Amazon Neptune 数据库,用于图形元数据管理 • 对数据湖架构、数据治理和安全最佳实践有深刻理解 • 加强权限管理能力 • 通过数据门户启动自助数据订阅和数据产品共享 • 通过仅显示复合数据产品来改善数据发现,简化目录组织,提供低延迟解决方案 • 使用 AWS S3 和 Lakeformation 构建、设计和实施可扩展的数据湖架构 • 使用 AWS Glue、EMR 和 Spark 构建和优化 ETL 管道 • 使用 EventBridge、SNS 和 SQS 实现事件驱动的工作流 • 使用 Athena 设计和查询数据集 • 使用 Amazon Neptune 数据库管理元数据和数据血缘 • 使用 API Gateway 和 AWS Lambda 暴露数据订阅和共享的 API • 使用 Terraform 自动化基础设施供应 • 通过实施强大的 IAM 策略和访问控制确保数据安全和合规性。 • 使用 Angular 开发和维护自助数据门户,并与后端服务集成 管理技能(必须具备) • 强大的沟通能力 • 有领导团队的经验