职位描述
· 我们正在寻找一位技术精湛且实干的技术负责人——数据工程师,负责推动下一代空中交通管理(ATM)平台的设计、交付和运营卓越。
· 该云原生平台支持高级数据和分析工作负载。
· 技术负责人将充当解决方案架构、项目交付和工程执行之间的重要桥梁。
· 除了领导工程师团队外,该角色还需要在AWS和Databricks上设计、编码、审查和排除复杂数据解决方案的故障,确保与架构标准、时间表和业务目标保持一致。
主要职责
· 技术领导与交付 领导数据工程师和开发人员团队设计和交付端到端数据管道(批处理、流处理和事件驱动)。
· 积极编写、审查和优化在Databricks和AWS平台上使用Python/Scala、Apache Spark和SQL的代码。
· 将解决方案架构和设计蓝图转化为可执行的工程任务,并直接参与实施。
· 排除和解决复杂的生产问题,确保系统的可靠性、性能和正常运行时间。
· 确保解决方案在受监管的航空环境中满足严格的性能、安全、治理和合规要求。
· 监督数据平台的代码质量、CI/CD管道、可观察性和DevOps最佳实践。
· 协作与利益相关者管理 与解决方案架构师紧密合作,验证和完善设计,包括在需要时构建实际操作的POC和原型。
· 与项目经理合作,协调交付里程碑,管理依赖关系,并主动升级风险。
· 与领域专家、数据科学家和外部供应商合作,将分析和AI/GenAI用例集成到生产系统中。有效沟通并协调海外开发团队(中国)以确保顺利交付。
· 创新与持续改进 在数据工程、MLOps、自动化和云原生设计中引入现代实践以提高平台成熟度。
· 主动识别和解决管道、基础设施和交付过程中的瓶颈。
· 通过实际的技术贡献以身作则,指导和引导团队成员。
资格教育
· 计算机科学、数据工程、数据科学、信息系统或相关学科的学士或硕士学位。
· 经验 7年以上数据工程、云原生平台或复杂技术交付角色的经验。
· 3年以上技术领导或团队领导角色的经验,平衡人员领导与实际工程。
· 在AWS云服务(数据工程为重点)和Databricks(Delta Lake、Spark、Unity Catalog)方面具有丰富的实际经验。
· 在航空、金融或公共部门等受监管领域交付解决方案的丰富经验。
· 熟悉敏捷/ Scrum方法和跨职能协作。
· 具有AWS Databricks、Delta Lake、实时数据流和奖章架构的经验。
· 接触过AI / GenAI概念或基于智能代理的架构。
· 熟悉航空数据标准(例如ADS-B、ARINC 424、航班时刻表),或有强烈的学习意愿。
· 拥有AWS数据分析、大数据或机器学习认证。
· 具有处理高容量、实时数据处理系统的经验。