职位名称:高级AWS数据工程师
工作安排:混合型,伦敦
持续时间:最初4个月,可能延长
地点:西德雷顿 - 热罗 - 伦敦
费率:每天£400-£500
角色概述:寻找经验丰富的高级AWS数据工程师,负责领导新的AWS基础架构平台的设计、实施和维护。该角色涉及配置/安装DataDog工具的代理,以满足平台/应用程序的监控需求。
职责:
• 设计和构建数据流水线,强调实时数据流Kafka。
• 将来自不同来源的数据整合到我们的数据湖和数据仓库中。
• 实施基于Kafka的流式解决方案。
• 执行数据转换、清洗和丰富。
• 优化流水线的性能、可扩展性和可靠性。
• 确保数据安全性和合规性。
• 与跨职能团队合作。
• 故障排除和维护数据流水线。
资格:
• 计算机科学或相关领域的学士学位(硕士学位优先)。
• 具备AWS和Kafka技能的数据工程师经验。
• 熟练使用Python、Java或Scala进行编程。
• 具备大数据和数据仓库的相关知识者优先考虑。
• 熟悉ETL流程和数据建模。
• AWS认证者优先考虑。
• 具备较强的问题解决和沟通能力。
• 注重细节,致力于数据质量和安全。
人员要求:
• 战略规划
• 创造力和创新
• 研究和分析能力
• 解决方案提供者
• 客户面向
• 出色的沟通能力
• 协作能力