大数据工程师 - Alef Education招聘

大数据工程师职位详情部门技术汇报经理数据工程总监工作地点阿布扎比，阿拉伯联合酋长国工作目标作为一名ALEF大数据工程师，您将对大数据技术有深入的了解，并具备出色的编码能力。您将提供技术领导力，与团队密切合作，确保按照项目目标和交付周期提供高质量的代码。您将与其他团队紧密合作，为快速原型和生产代码提供支持，并确保高度的可访问性标准。我们希望您熟悉现代框架和语言，以及如Clean Code、TDD、BDD、持续集成、持续交付和DevOps等工作实践。主要职责职位特定职责定义和开发服务和解决方案定义、设计和开发关于大型数据摄取、存储和管理的服务和解决方案，例如关系型数据库、No SQL数据库、日志文件和事件。在生产环境中定义、设计和运行稳健的数据流水线/批处理作业。架构高度可伸缩、高并发和低延迟的系统。维护、支持和增强现有系统。贡献以减少技术债务，并使用开发方法来最小化新技术债务的增长。提供反馈以改进团队内代码库的质量、可读性和可测试性。在非线性管理职能下指导和培训其他开发人员。构建工具（其中之一：SBT、Gradle、Maven）。确保所有构建的软件具有稳健性和可伸缩性。与内部和外部利益相关者合作参与冲刺计划，与开发人员和项目团队合作，确保项目可部署和可监控。与第三方和其他内部供应商合作，支持各种集成。作为团队的一部分，您可能需要参与一些二线内部支持和非工作时间支持轮班。积极提供建议以促进最佳实践。教育、经验和所需技能教育资格计算机科学、软件工程或相关专业学位优先流程和实践敏捷开发 Scrum/Kanban/精益测试驱动开发/行为驱动开发持续集成/持续交付极限编程经验至少5年必备技能遵循Clean Code/Solid原则遵循和应用TDD/BDD。出色的开发能力，能够编写高效、可读、高度优化/可维护和清晰的代码。精通函数式Java或Scala 了解AWS大数据/分析服务 - S3、EMR、Glue、Redshift、QuickSight、Kinesis。有大数据环境的经验（还要为分析团队提供最佳实践/新技术的建议）处理大数据集并扩展其处理和存储的经验。在Hadoop HFDS、S3、Kafka等系统中存储数据的经验。设计、设置和运行Hadoop、Spark等大数据技术栈以及Cassandra、DocumentDBs、MongoDB、Kafka等分布式数据存储的经验。深入了解Hadoop技术生态系统 - HDFS、Spark、Impala、Hbase、Kafka、Flume、Sqoop、Oozie、SPARK、Avro、Parquet 调试复杂的多服务器服务的经验深入了解和经验IaaS/PaaS解决方案（例如AWS基础设施托管和托管服务）熟悉网络协议 - TCP/IP、HTTP、SSL等。了解关系型和非关系型数据库系统了解持续集成和交付。期望技能具有使用Spark进行批处理和使用Spark Streaming或Samza进行流处理的经验。了解和经验搜索数据应用/平台，如ElasticSearch、Splunk等。熟悉微服务架构在非线性管理职能下指导和培训其他开发人员。有指导或帮助同事优化其代码的经验。系统管理和配置管理技能。在用户组、业务和同行面前展示工作的经验。设计和维护公共HTTP API的经验。其他语言（Python、Javascript、Clojure、Kotlin等）。其他NoSQL数据库，如Neo4J、Cassandra、Redis等的经验。