Hadoop工程师

无个税16个月前全职
Dice

Dice

location 迪拜
unsaved
角色职责: • 负责Hadoop基础设施的实施和持续管理。 • 负责集群维护、故障排除、监控,并遵循适当的备份和恢复策略。 • 配置和管理多个集群的生命周期,如EMR和EKS。使用PrometheGrafana/Splunk进行基础设施监控、日志记录和报警。 • 对Hadoop集群和Hadoop工作负载进行性能调优,并在应用程序/队列级别进行容量规划。在Hadoop/云时代环境中负责内存管理、队列分配和分发经验。 理想的候选人应具备以下经验: • 在Linux/Unix操作系统服务、管理、Shell和awk脚本编写方面有经验。 • 熟悉Python/Scala/Java/R等任一编程语言,并具备调试技能。 • 在Hadoop(Map Reduce、Hive、Pig、Spark、Kafka、HBase、HDFS、H-catalog、Zookeeper和Oozie/Airflow)方面有经验。 • 在Hadoop安全性(Kerberos Knox、TLS