Hadoop工程师
12个月合同
100%远程
每小时70美元 - 90美元
角色职责:
• 负责Hadoop基础设施的实施和持续管理。
• 负责集群维护、故障排除、监控,并遵循适当的备份和恢复策略。
• 提供和管理多个集群(如EMR和EKS)的生命周期。使用PrometheGrafana/Splunk进行基础设施监控、日志记录和警报。
• 对Hadoop集群和Hadoop工作负载进行性能调优,并在应用程序/队列级别进行容量规划。在Hadoop/Cloud era环境中负责内存管理、队列分配和分布经验。
理想的候选人应具备以下经验:
• 在Linux/Unix操作系统服务、管理、Shell、awk脚本方面有经验。
• 掌握一种编程语言Python/Scala/Java/R,并具有调试技巧。
• 有Hadoop(Map Reduce、Hive、Pig、Spark、Kafka、HBase、HDFS、H-catalog、Zookeeper和Oozie/Airflow)方面的经验。
• 有Hadoop安全性(Kerberos、Knox、TLS)方面的经验。
• 具有SQL和NoSQL数据库(HBASE)的实际经验,包括性能优化。
Oscar Associates Limited(美国)在此空缺中充当雇佣商。