我们的客户是一家位于伦敦的金融服务公司。他们正在寻找2名AWS数据工程师。
我们的客户拥有一个自主开发的配置管理平台,目前已在8.5k个Unix服务器上运行。计划扩展到包括Windows、Linux、操作系统、网络设备等在内的60k+个终端。
候选人将负责以下工作:
• 设计和构建符合业务和性能规范的稳健、可扩展的数据流水线
• 使用AWS服务(如Glue、Lambda、S3、DynamoDB、Eventbridge、SQS、Step Functions)开发无服务器数据流水线
• 以专家级别使用Python编写Glue作业和Lambda函数,注重性能
• 构建包括来自不同数据源的数据库、API的数据摄取解决方案,使用拉取/推送流水线
• 具备在流水线中构建日志记录/监控的经验,并具备适当的故障排除和优化能力
• 具备数据隐私和完整性保护的数据混淆理解
• 必须具备创建分析数据模型的经验
• 对不同数据建模和处理技术有概念性了解
候选人应具备金融服务行业工程水平的经验。对AWS无服务器数据湖原则和指导方法有深入理解。以下技术栈元素是所需的:
Amazon CloudWatch Events
AWS CloudFormation
AWS CodePipeline
AWS CodeBuild
AWS CodeCommit
Amazon DynamoDB
AWS Glue
AWS Lambda
Amazon S3
Amazon SQS
AWS Step Functions