Hadoop管理员

芝加哥 2天前全职 网络
面议
请注意:这不是数据工程师职位。 职位:Hadoop管理员 行业:公共部门 类型:12个月合同 地点:芝加哥,伊利诺伊州(现场) 薪资:$70 - $73/小时 日常工作: - 提供管理Hadoop和数据科学平台操作的专业知识,重点关注Cloudera Hadoop、Jupyter Notebook、OpenShift、Docker-容器集群管理和管理。 - 将解决方案与框架外的其他应用程序和平台集成。 - 管理所有环境中的平台操作,包括升级、错误修复、部署、解决和预测的指标/监控、灾难恢复、事件/问题/容量管理。 - 在项目经理的协调下,作为客户合作伙伴和供应商之间的联络人,提供满足用户需求的技术解决方案。 - 管理基于Hadoop、Spark、Kafka、Kubernetes/OpenShift、Docker/Podman和Jupyter Notebook构建的平台的日常操作。 - 支持和维护AI/ML平台,如Cloudera、DataRobot、C3 AI、Panopticon、Talend、Trifacta、Selerity、ELK、KPMG Ignite等。 - 执行集群管理、升级、错误修复、部署和灾难恢复活动。 - 负责事件响应、问题管理和容量规划。 - 实施监控、警报和预测解决方案,以确保系统可靠性。 - 与开发团队、供应商和利益相关者密切合作,以支持敏捷软件交付。 - 使用Ansible、shell脚本和Python等工具自动化平台任务。 必须具备: - 对Hadoop架构、HDFS、Hadoop集群和Hadoop管理员角色的深入了解 - 对完全集成的AD/Kerberos身份验证的深入了解。 - 具有设置最佳集群配置的经验 - 对Cloudera Hadoop组件(如HDFS、Sentry、HBase、Kafka、Impala、SOLR、Hue、Spark、Hive、YARN、Zookeeper和Postgres)的专家级知识。 - 拥有分析各种Hadoop日志文件、压缩、编码和文件格式的实际经验。 - 具备Python、Shell、Ansible的脚本和自动化技能 - 具有监控警报和作业调度系统的经验。 - 了解数据库:SQL、Cassandra、Postgres。 - 熟练掌握Unix/SQL脚本 - 具有敏捷开发环境的经验。 加分项: - 具有Snowflake、Data Bricks或云平台(Azure)的经验 - 具有金融经验 薪资和补偿: 该职位的时薪在$70 - $73之间。影响该范围内薪资的因素可能包括地理位置/市场、技能、教育、经验和成功候选人的其他资格。 福利: 公司为该职位提供以下福利,需符合适用的资格要求:医疗保险、牙科保险、视力保险、401(k)退休计划、人寿保险、长期残疾保险、短期残疾保险、付费停车/公共交通、(带薪时间、带薪病假和安全时间、带薪假期时间、带薪育儿假周数、带薪节假日 - 如适用)。