Hadoop架构师

15个月前全职
20 - 28 / 时 Jobber Group

Jobber Group

location 芝加哥
unsaved
Jobber Group正在为我们在伊利诺伊州芝加哥市的一家优秀客户寻找一名Hadoop架构师候选人。 这是一个全职的直接雇佣W-2职位。 Hadoop应用/系统架构师,具有在Hadoop生态系统中构建分析应用程序的实际架构和开发经验。 这种经验应包括: 架构和设计Hadoop数据架构,包括HBase和Hive数据库设计,并使用Spark、NiFi和/或Pig进行数据处理/转换 架构和设计大规模Hadoop基础架构,提供可伸缩性和可用性 应具备在Hortonworks/Cloudera分发上工作的经验 使用Scala、Java、Python、Map Reduce或其他语言/工具开发Hadoop组件。 首选Scala。 Hadoop性能调优和优化 使用LDAP、AD和Ranger设置Hadoop环境的安全架构 经验丰富的Hadoop文件格式,包括Avro、Parquet和ORC 使用Kafka进行数据摄取,并将此类数据用于流式分析 了解以下许多内容: Oozie、Zookeeper、Sqoop、Flume 通过SQL前端、BI工具对Hadoop数据进行消费的工作知识将是一个重要的加分项 出色的书面和口头沟通能力 能够在Hadoop技能和最佳实践方面对敏捷团队进行培训和指导 职责: 从Kafka事件流式传输到HDFS、HBase、Hive数据存储和关系型数据仓库(SQL数据仓库)的数据流设计 支持Scrum团队的日常工作,帮助进行代码审查和详细设计讨论 进行实际操作以执行POC和工具评估 性能调优工作 基础设施大小/容量规划 平等就业机会雇主,包括少数民族、女性、残疾人和退伍军人。 预计工资:根据资格,每小时20至28美元。