领导Hadoop管理员
地点:加州福斯特城
现场和混合角色,每周3天办公室工作
工作职责
• 负责Hadoop基础设施的实施和持续管理。
• 负责集群维护、故障排除、监控,并遵循适当的备份和恢复策略。
• 配置和管理多个集群的生命周期,如EMR和EKS。使用Prometheus/Grafana/Splunk进行基础设施监控、日志记录和报警。
• 对Hadoop集群和Hadoop工作负载进行性能调优,并在应用程序/队列级别进行容量规划。在Hadoop/云时代环境中负责内存管理、队列分配和分布经验。
• 应能够在生产环境中扩展集群,并具有18/5或24/5生产环境的经验。监控Hadoop集群的连接和安全性,文件系统(HDFS)的管理和监控。
• 调查和分析减少复杂性、创建更高效和生产力交付过程或创建增加业务价值的更好技术解决方案的新技术可能性、工具和技术。参与问题修复、RCA,并为基础设施/服务组件提供解决方案建议。
• 负责满足服务级别协议(SLA)目标,并协作确保团队目标的实现。
• 确保所有对生产系统的更改按照变更管理流程进行计划和批准。
• 与应用团队合作,根据需要安装操作系统和Hadoop更新、补丁、版本升级。
• 维护所有系统、数据、利用率和可用性指标的中央仪表板。
所需工作技能
• 总工作经验8-12年,其中至少有5年的Hadoop集群开发、维护、优化和问题解决的工作经验,支持业务用户。
• 有Linux / Unix操作系统服务、管理、Shell、awk脚本编写的经验。
• 熟悉任一编程语言Python/Scala/Java/R,并具备调试技巧。
• 有Hadoop(Map Reduce、Hive、Pig、Spark、Kafka、HBase、HDFS、H-catalog、Zookeeper和Oozie/Airflow)的经验。
• 有Hadoop安全性(Kerberos、Knox、TLS)的经验。
• 有SQL和NoSQL数据库(HBASE)的实际经验,并进行性能优化。
• 在GIT、Jira平台上进行工具集成、自动化、配置管理的经验。
• 出色的口头和书面沟通和演示技巧,分析和解决问题的能力。
Altimetrik是一家致力于拥有多元文化的平等机会雇主。所有合格的申请人将获得平等的就业机会,不论种族、肤色、宗教、年龄、性别、性取向、性别认同、国籍、残疾状况或受到我们经营地点的法律或法规保护的退伍军人身份或任何其他身份。