数据团队利用我们的自动驾驶车辆和运营数据来确定自主性和服务准备情况。我们为客户的战略决策提供基础。您将帮助开发和实施我们的下一代数据管道,以确保在我们朝着自动移动服务的推出进行扩展时,对我们的业务有清晰的了解。您将定义系统并构建管道,以使我们的客户能够发展并具备以数据为先的文化。
职责
• 设计、构建和维护供客户团队使用的大规模数据管道平台
• 推动平台效率的提高,减少延迟并改善数据的新鲜度
• 通过改进可观察性和关键指标,支持基于数据的工程决策
• 与工程团队合作,支持其数据管道的长期扩展
资格要求
• 5年以上软件工程经验
• 熟练使用Python
• 对分布式系统有深入的理解
• 出色的书面和口头沟通能力
• 在大规模数据密集型生产系统的构建和维护方面有丰富经验
• 在关系数据库和非关系型(NoSQL)数据库方面有丰富经验
• 在基础设施即代码工具(如Terraform,...)方面有丰富经验
• 有大规模流式处理平台(如Kafka,Kinesis)的经验
加分资格
• 有数据仓库平台(如Redshift,BigQuery,Databricks,...)的经验
• 有构建可扩展和易维护的数据管道的经验
• 有AWS ECS和/或Kubernetes的经验
• 有像Airflow这样的工作流管理器的经验
• 有大规模处理框架(如Spark,Hadoop,...)的经验