Hadoop工程师

16个月前远程合同
70 - 90 USD Oscar Technology

Oscar Technology

location 洛杉矶
unsaved
Hadoop工程师 12个月合同 100%远程 每小时70美元 - 90美元 角色职责: • 负责Hadoop基础设施的实施和持续管理。 • 负责集群维护、故障排除、监控,并遵循适当的备份和恢复策略。 • 提供和管理多个集群(如EMR和EKS)的生命周期。使用PrometheGrafana/Splunk进行基础设施监控、日志记录和警报。 • 对Hadoop集群和Hadoop工作负载进行性能调优,并在应用程序/队列级别进行容量规划。在Hadoop/Cloud era环境中负责内存管理、队列分配和分布经验。 理想的候选人应具备以下经验: • 在Linux/Unix操作系统服务、管理、Shell、awk脚本方面有经验。 • 掌握一种编程语言Python/Scala/Java/R,并具有调试技巧。 • 有Hadoop(Map Reduce、Hive、Pig、Spark、Kafka、HBase、HDFS、H-catalog、Zookeeper和Oozie/Airflow)方面的经验。 • 有Hadoop安全性(Kerberos、Knox、TLS)方面的经验。 • 具有SQL和NoSQL数据库(HBASE)的实际经验,包括性能优化。 Oscar Associates Limited(美国)在此空缺中充当雇佣商。