Hadoop专家

芝加哥 6天前全职 网络
面议
• 请注意:这不是一个数据工程师职位。 职位:** Hadoop 专家 行业: 公共部门 类型: 12个月合同 地点: 芝加哥,伊利诺伊州(现场) 薪资:$70 - $73/小时 日常工作: • 提供Hadoop和数据科学平台运营的专业知识,重点关注Cloudera Hadoop、Jupyter Notebook、OpenShift、Docker-容器集群管理和管理。 • 将解决方案与框架外的其他应用程序和平台集成。 • 管理所有环境中的平台运营,包括升级、错误修复、部署、解决和预测的指标/监控、灾难恢复、事件/问题/容量管理。 • 在项目经理的协调下,作为客户合作伙伴和供应商之间的联络人,提供满足用户需求的技术解决方案。 • 管理基于Hadoop、Spark、Kafka、Kubernetes/OpenShift、Docker/Podman和Jupyter Notebook的平台的日常运营。 • 支持和维护AI/ML平台,如Cloudera、DataRobot、C3 AI、Panopticon、Talend、Trifacta、Selerity、ELK、KPMG Ignite等。 • 执行集群管理、升级、错误修复、部署和灾难恢复活动。 • 负责事件响应、问题管理和容量规划。 • 实施监控、警报和预测解决方案,以确保系统可靠性。 • 与开发团队、供应商和利益相关者密切合作,以支持敏捷软件交付。 • 使用Ansible、shell脚本和Python等工具自动化平台任务。 必备条件: • 对Hadoop架构、HDFS、Hadoop集群和Hadoop管理员角色有深入了解 • 熟悉完全集成的AD/Kerberos身份验证。 • 有设置最佳集群配置的经验 • 精通Cloudera Hadoop组件,如HDFS、Sentry、HBase、Kafka、Impala、SOLR、Hue、Spark、Hive、YARN、Zookeeper和Postgres。 • 具有分析各种Hadoop日志文件、压缩、编码和文件格式的实践经验。 • 具备Python、Shell、Ansible的脚本和自动化技能 • 具有监控警报和作业调度系统的经验。 • 了解数据库:SQL、Cassandra、Postgres。 • 精通Unix/SQL脚本 • 具有敏捷开发环境的经验。 加分项: • 以前有Snowflake、Data Bricks或云平台(Azure)的经验 • 以前的金融经验 薪资和补偿: 该职位的时薪在$70 - $73之间。影响此范围内薪酬的因素可能包括地理位置/市场、技能、教育、经验以及成功候选人的其他资格。 福利: 公司为该职位提供以下福利,须符合适用的资格要求:医疗保险、牙科保险、视力保险、401(k)退休计划、人寿保险、长期残疾保险、短期残疾保险、付费停车/公共交通、(带薪时间、带薪病假和安全时间、带薪假期时间、带薪育儿假周数、每年带薪假期 - 如适用)。