Python工程师/大数据

迪拜 无个税2天前全职 网络
面议
在迪拜寻找一名Python工程师,负责构建可扩展的后端系统、管理数据管道,并利用Hadoop和Spark等大数据技术。需要具备云和数据库方面的专业知识。 描述 您是否热衷于构建可处理大量数据的可扩展后端系统?您是否对Python工程有深入了解,并有使用大数据技术的经验?如果是这样,我们希望听到您的消息! 工作内容: - 使用Python设计、构建和维护可扩展且稳健的后端服务。 - 处理数据管道,将大型数据集转化为有意义的见解。 - 与数据科学家、工程师和产品团队合作,优化系统性能。 - 利用您在大数据技术(如Snowflake、Hadoop、Spark、Kafka)方面的知识,创建数据驱动的解决方案。 - 确保各系统之间的数据流和存储顺畅,确保高可用性和容错性。 - 通过测试、同行评审和遵循最佳实践,不断提高代码库质量。 我们在寻找: - 具有Python为重点的后端工程师的丰富经验。 - 对大数据架构和工具(如Hadoop、Spark、Flink等)有深刻理解。 - 具备数据工程概念,包括ETL管道、数据仓库和实时流处理的经验。 - 熟练掌握云平台(AWS、GCP、Azure)和容器化技术(Docker、Kubernetes)。 - 具有关系型和非关系型数据库(如PostgreSQL、MongoDB、Cassandra)的扎实经验。 - 具备解决问题的思维方式,能够强有力地调试和优化代码。 - 优秀的沟通能力和团队合作精神。 加分项: - 熟悉机器学习模型和数据科学工作流程。 - 具备RESTful API设计和微服务架构的经验。 - 了解DevOps工具和CI/CD管道。