描述
我们正在寻找一名大数据管理员来管理和支持企业大数据平台。该角色确保生产和非生产环境中的平台可用性、性能、安全性和稳定性,并与数据工程、IAM、网络、安全和基础设施团队密切合作。
主要职责
• 使用Cloudera Manager部署、配置和管理Cloudera CDP/Hadoop集群。
• 操作和支持Hadoop生态系统服务:HDFS、YARN、Spark、Hive/Impala、HBase、Zookeeper。
• 监控平台健康状况和性能;进行容量规划和性能调优。
• 实施和管理安全措施:Kerberos、Ranger策略、LDAP/AD集成和TLS/SSL加固。
• 解决生产事故(身份验证问题、服务故障、磁盘/日志问题、卡住的Spark/YARN作业)并进行根本原因分析。
• 管理升级、补丁和配置更改,尽量减少停机时间。
• 使用Bash/Python构建自动化以提高日常任务和操作效率。
• 管理Kubernetes平台(Red Hat OpenShift):基本集群操作、命名空间/项目管理、pod/服务故障排除、日志分析和平台应用支持。
• 维护操作文档、运行手册和支持程序;根据需要参与值班支持。
要求
• 3年以上Cloudera/Hadoop生产环境管理员的实际经验。
• 强大的Linux管理和命令行技能。
• 具有Cloudera Manager和集群操作的丰富经验。
• 具备Kubernetes/OpenShift管理(oc/kubectl、pods、deployments、services、logs、troubleshooting)的工作知识。
• 深刻理解Kerberos、Ranger、LDAP/AD和TLS/SSL。
• 具有使用Grafana/Prometheus(或类似工具)进行监控的经验。
• 具备强大的故障排除、沟通和协作能力。