请注意:这不是数据工程师职位。
职位:Hadoop管理员
行业:公共部门
类型:12个月合同
地点:芝加哥,伊利诺伊州(现场)
薪资:$70 - $73/小时
日常工作:
- 提供管理Hadoop和数据科学平台操作的专业知识,重点关注Cloudera Hadoop、Jupyter Notebook、OpenShift、Docker-容器集群管理和管理。
- 将解决方案与框架外的其他应用程序和平台集成。
- 管理所有环境中的平台操作,包括升级、错误修复、部署、解决和预测的指标/监控、灾难恢复、事件/问题/容量管理。
- 在项目经理的协调下,作为客户合作伙伴和供应商之间的联络人,提供满足用户需求的技术解决方案。
- 管理基于Hadoop、Spark、Kafka、Kubernetes/OpenShift、Docker/Podman和Jupyter Notebook构建的平台的日常操作。
- 支持和维护AI/ML平台,如Cloudera、DataRobot、C3 AI、Panopticon、Talend、Trifacta、Selerity、ELK、KPMG Ignite等。
- 执行集群管理、升级、错误修复、部署和灾难恢复活动。
- 负责事件响应、问题管理和容量规划。
- 实施监控、警报和预测解决方案,以确保系统可靠性。
- 与开发团队、供应商和利益相关者密切合作,以支持敏捷软件交付。
- 使用Ansible、shell脚本和Python等工具自动化平台任务。
必须具备:
- 对Hadoop架构、HDFS、Hadoop集群和Hadoop管理员角色的深入了解
- 对完全集成的AD/Kerberos身份验证的深入了解。
- 具有设置最佳集群配置的经验
- 对Cloudera Hadoop组件(如HDFS、Sentry、HBase、Kafka、Impala、SOLR、Hue、Spark、Hive、YARN、Zookeeper和Postgres)的专家级知识。
- 拥有分析各种Hadoop日志文件、压缩、编码和文件格式的实际经验。
- 具备Python、Shell、Ansible的脚本和自动化技能
- 具有监控警报和作业调度系统的经验。
- 了解数据库:SQL、Cassandra、Postgres。
- 熟练掌握Unix/SQL脚本
- 具有敏捷开发环境的经验。
加分项:
- 具有Snowflake、Data Bricks或云平台(Azure)的经验
- 具有金融经验
薪资和补偿:
该职位的时薪在$70 - $73之间。影响该范围内薪资的因素可能包括地理位置/市场、技能、教育、经验和成功候选人的其他资格。
福利:
公司为该职位提供以下福利,需符合适用的资格要求:医疗保险、牙科保险、视力保险、401(k)退休计划、人寿保险、长期残疾保险、短期残疾保险、付费停车/公共交通、(带薪时间、带薪病假和安全时间、带薪假期时间、带薪育儿假周数、带薪节假日 - 如适用)。