高级数据工程师（数据摄取）
混合工作（每月在我们位于法灵顿办公室上班6天）
我们是谁？
丰田联网欧洲希望通过连接的移动性为所有人创造一个更美好的世界。我们是一个新公司，旨在将大数据和客户关注融入到移动体验的各个方面，以便每个人的体验更加个性化、便捷、有趣和安全。我们创建和启用技术，以让使用我们产品的每个人的生活更加愉快和简化，并赋予他们以新的方式思考和使用我们的服务。
您将加入我们在丰田联网欧洲建立团队和产品的旅程的开始阶段。我们正在组建团队，以激励、创新和构建被各行各业的数百万人使用的技术和产品。我们希望团队的每个成员都能全情投入丰田联网欧洲的初创企业文化中，并在每一天都感受和行动如同一个所有者。这是一个能够立即产生影响和发声的机会：您今天创造的东西，明天您将看到它被使用。
职位描述：
数据工程团队负责实现和管理低延迟、高容量的汽车遥测数据的摄取，为我们的工程和数据科学团队构建智能和洞察性产品提供动力。我们正在寻找一位经验丰富的高级数据工程师加入团队，该工程师将在大规模、分布式软件数据应用、系统和服务的设计、开发、实施和文档编制方面发挥关键作用。您将构建数据管道，使我们的车辆能够与云端通信。您构建的功能将推动全球范围内的驾驶体验。
您将做什么：
• 与数据工程负责人和产品紧密合作，塑造和交付面向客户的功能，并作为具有创造性思维能力的人，能够突破传统解决方案。
• 帮助推动团队采用现代原则、技术和技术，提高软件质量、价值和交付能力。
• 影响团队成员，鼓励按照良好的架构和软件工程模式进行工程实践和创造性思考，以超越预期。
• 设计、实施和维护复杂的数据工程解决方案，以获取和准备数据。创建和维护数据管道，连接数据存储、应用程序和组织之间的数据。进行复杂的数据质量检查和修复。
• 使用适当的建模技术，按照约定的架构和软件设计标准、指南、模式和方法，设计系统组件和复杂的软件应用程序和模块。创建和传达多个设计视图，以平衡利益相关者的关注点，并满足功能和非功能需求。识别、评估和推荐替代的设计选项和权衡。通过建立和应用适当的方法验证软件设计。
• 设计、编码、验证、测试、文档化、修改和重构复杂的程序/脚本和集成软件服务。为软件开发方法、工具和技术的选择做出贡献。应用约定的标准和工具，实现良好的工程结果。领导同事的同行评审工作。
• 提供技术专业知识，以便为系统测试配置系统组件和设备，定义复杂/新的集成构建，确保正确配置集成测试环境。推荐并实施流程和工具的改进。
• 规划和推动支持组织目标的开发项目，选择、采用和调整适当的系统开发方法、工具和技术。确保利益相关者了解所需资源，并管理最佳可用性和利用率。确保项目按照约定的架构、标准、方法和工具进行，并解决安全和隐私要求。
• 在团队合作、敏捷软件工程环境中与其他有才华的工程师并肩工作
• 与工程数据负责人合作，通过持续分享知识和寻求技术和人员方面的持续改进，进行指导
• 热爱编写代码，并不断提升自己作为工程师的技能
• 与产品负责人紧密合作，塑造和交付面向客户的功能
• 指导经验较少的团队成员，帮助培养一支不可阻挡的团队并构建出色的创新产品
我们的技术栈：
请注意，您不需要对所有技术都熟悉，因为我们知道在技术领域总是存在学习曲线。
• 云服务提供商
• 主要是AWS，尽管我们仍在使用一些在Azure上运行的旧服务。
• 编程语言
• Java 11+
• Kotlin（旧版）
• 消息传递框架
• Kafka
• Pulsar - 正在逐步将其迁移到Kafka
• 部署环境
• Kubernetes（EKS）
• 框架
• Spring
• Apache Flink
• Kafka Streams
• Apache Storm（主要是旧版）
• 代码仓库和CI/CD：
• Gitlab
• Gitlab CI/CD
• 数据存储
• MongoDB
关于您：
• 熟悉主要的实时数据处理框架之一，如Flink或Kafka Streams
• 具备构建和设计事件驱动和/或流式数据服务的经验，有物联网领域的经验会很好，但不是必需的
• 在Java（11+）方面具有丰富的编程经验，并对自己的代码有责任感和自豪感；通过测试框架JUnit5、Mockito或Spring Integration展示经验
• 强大的数据库技能和经验是必需的，我们通常使用NoSQL数据库和关系数据库处理大量数据。
• 熟悉数据建模概念和原则，具有整合多个复杂数据源的数据架构建设的丰富经验
• 具备有说服力的沟通技巧的资深技术人员，能够在时间和容量限制内阐明并交付最佳解决方案，涵盖功能和非功能需求
• 具备现代软件和数据工程模式的经验，包括在高可扩展、分布式和弹性系统中使用的模式。
• 对API（使用Open API进行设计更佳）、Web服务、CI/CD流水线和自动化测试（BDD、性能、安全性）、Kubernetes和云原生实践、使用Docker等容器化工作负载具有优秀的知识和经验
• 具备开发基于微服务架构的经验，包括分布式消息传递模式
• 在至少一个主要的公共云提供商上开发和交付系统的经验；最好是AWS
• 渴望在团队中扮演指导角色
• 热爱敏捷实践、DevSecOps、增量交付、持续改进，并具备培养强大团队文化的能力
• 我们希望您是一个自我启动的人 - 有需要时会与其他团队联系以寻求答案，并营造一个敏捷的环境
• 愿意参与问题解决和旨在平稳运维跨地理边界分布的生产服务的倡议
• 我们认为，在计算机科学、工程学、数学或相关领域获得学士学位所获得的知识在这个职位上将非常有价值，但如果您聪明并具备支持您能力的经验，对我们来说，才华胜过学位 
伦敦