大数据工程师 - Alef Education招聘

大数据工程师请注意 - Scala和JAVA是必备的编程语言。工作目标作为ALEF大数据工程师，您将对大数据技术有深入的了解，并具备出色的编码能力。您将提供技术领导力，与团队密切合作，确保按照项目目标和交付周期交付高质量的代码。您将与其他团队密切合作，为快速原型和生产代码提供支持，并确保遵守高可访问性标准。我们期望熟悉现代框架和语言，以及Clean Code、TDD、BDD、持续集成、持续交付和DevOps等工作实践。工作具体职责定义和开发服务和解决方案定义、设计和开发围绕大数据摄取、存储和管理的服务和解决方案，例如使用RDBMS、No SQL DB、日志文件和事件。在生产环境中定义、设计和运行稳健的数据管道/批处理作业。架构高度可扩展、高并发和低延迟的系统。维护、支持和增强现有系统。贡献以减少技术债务，并使用能够最小化新技术债务增长的开发方法。提供反馈，改进团队内代码库的质量、可读性和可测试性。在非线性管理职能下指导和培训其他开发人员。构建工具（SBT、Gradle、Maven之一）。确保所有构建的软件都是稳健和可扩展的。与内部和外部利益相关者合作参与冲刺计划，与开发人员和项目团队合作，确保项目可部署和可监控。与第三方和其他内部提供商合作，支持各种集成。作为团队的一部分，您可能需要参与部分二线内部支持和非工作时间支持轮班。积极提供最佳实践建议。教育、经验和所需技能教育背景计算机科学、软件工程或相关专业学位为佳流程与实践敏捷Scrum/Kanban/精益 TDD/BDD CI/CD XP 经验要求至少5年的相关经验必备技能遵循Clean Code/Solid原则遵循和使用TDD/BDD。具备开发高效、可读、高度优化/可维护和清晰代码的卓越能力。精通函数式Java或Scala 了解AWS大数据/分析服务 - S3、EMR、Glue、Redshift、QuickSight、Kinesis。具有大数据环境经验（还要向分析团队提供建议最佳实践/新技术）处理大数据集并扩展其处理和存储的经验。在Hadoop HFDS、S3、Kafka等系统中存储数据的经验。设计、设置和运行Hadoop、Spark等大数据技术栈以及Cassandra、DocumentDBs、MongoDB、Kafka等分布式数据存储的经验。深入了解Hadoop技术生态系统 - HDFS、Spark、Impala、Hbase、Kafka、Flume、Sqoop、Oozie、SPARK、Avro、Parquet 调试复杂的多服务器服务的经验深入了解和经验IaaS/PaaS解决方案（例如AWS基础设施托管和托管服务）熟悉网络协议 - TCP/IP、SSL等了解关系型和非关系型数据库系统了解持续集成和交付可选技能具备使用Spark进行批处理和使用Spark Streaming或Samza进行流处理的经验和理解了解和经验搜索数据应用/平台，如ElasticSearch、Splunk等熟悉微服务架构在非线性管理职能下指导和培训其他开发人员指导或帮助同事优化他们的代码的经验系统管理和配置管理技能在用户组、业务和同行面前展示工作的经验设计和维护公共API的经验其他语言（Python、Javascript、Clojure、Kotlin等）其他NoSQL数据库，如Neo4J、Cassandra、Redis等。