在迪拜寻找一名Python工程师,负责构建可扩展的后端系统、管理数据管道,并利用Hadoop和Spark等大数据技术。需要具备云和数据库方面的专业知识。
描述
您是否热衷于构建可处理大量数据的可扩展后端系统?您是否对Python工程有深入了解,并有使用大数据技术的经验?如果是这样,我们希望听到您的消息!
工作内容:
- 使用Python设计、构建和维护可扩展且稳健的后端服务。
- 处理数据管道,将大型数据集转化为有意义的见解。
- 与数据科学家、工程师和产品团队合作,优化系统性能。
- 利用您在大数据技术(如Snowflake、Hadoop、Spark、Kafka)方面的知识,创建数据驱动的解决方案。
- 确保各系统之间的数据流和存储顺畅,确保高可用性和容错性。
- 通过测试、同行评审和遵循最佳实践,不断提高代码库质量。
我们在寻找:
- 具有Python为重点的后端工程师的丰富经验。
- 对大数据架构和工具(如Hadoop、Spark、Flink等)有深刻理解。
- 具备数据工程概念,包括ETL管道、数据仓库和实时流处理的经验。
- 熟练掌握云平台(AWS、GCP、Azure)和容器化技术(Docker、Kubernetes)。
- 具有关系型和非关系型数据库(如PostgreSQL、MongoDB、Cassandra)的扎实经验。
- 具备解决问题的思维方式,能够强有力地调试和优化代码。
- 优秀的沟通能力和团队合作精神。
加分项:
- 熟悉机器学习模型和数据科学工作流程。
- 具备RESTful API设计和微服务架构的经验。
- 了解DevOps工具和CI/CD管道。