职位名称：Cloudera大数据管理员
工作地点：Reston VA 20191/ 远程
工作类型：12个月合同
工作摘要：
描述：
• 这是一个Cloudera大数据管理员职位，而不是开发人员职位。
• 有建立Cloudera集群、设置Nifi、Solr、HBase、Kafka的经验。
• 在BDPaas平台上建立全新集群的基础上，设置Hue、Hive、HBase REST、SOLR和IMPALA等服务的高可用性。
• 能够编写shell脚本来监控Hadoop守护进程服务的健康状况，并根据任何警告或故障条件做出相应响应。
• 使用Cloudera Manager监控生产集群中运行的所有服务的健康状况。使用HUE执行/访问数据库、元数据表，并编写Hive、Impala查询。
• 负责监控所有集群上的服务的健康状况。
• 与应用开发团队、安全团队、平台支持等不同团队密切合作，以确定并实施集群顶部所需的配置更改，以提高服务的性能。
• 有CDP公共云经验者优先考虑。
最低教育和经验要求：
• Cloudera CDP v7.x
• Apache Kafka - 强大的管理和故障排除技能
• Kafka Streams API
• 使用KStreams和Ktables进行流处理
• Kafka与MQ的集成
• Kafka Broker管理
• 主题/偏移管理
• Apache Nifi - 管理
• 流程管理
• 注册服务器管理
• 控制器服务管理
• Nifi到kafka /Hbase /solr的集成
• Hbase - 管理
• 数据库管理
• 故障排除
• Solr - 管理
• 管理日志级别
• 管理分片和高可用性
• 集合管理
• 更正资源密集型和运行时间较长的solr查询
技能：
• 确保Cloudera的安装和配置达到最佳规格（CDP、CDSW、Hive、Spark、NiFi）。
• 从CDH迁移到CDP进行关键数据迁移。
• 使用Python/R和NiFi设计和实施大数据管道和自动化数据流。
• 协助并提供专业知识，以自动化整个项目生命周期。
• 对Cloudera环境进行增量更新和升级。
• 协助新的用例（如分析/机器学习、数据科学、数据摄取和处理）、基础设施（包括新的集群部署、集群迁移、扩展、重大升级、COOP/DR和安全性）。
• 协助测试、治理、数据质量、培训和文档工作。
• 移动数据并使用YARN分配资源和调度作业。
• 使用Oozie和Hue管理作业工作流程。
• 使用Ranger配置和管理Hadoop集群的全面安全策略。
• 使用Cloudera Manager配置和管理Cloudera Data Science Workbench。
• 解决Kerberos、TLS/SSL、模型和实验以及数据科学家在应用程序运行时可能遇到的其他工作负载问题的潜在问题。
• 在开发和生产生命周期中支持大数据/Hadoop数据库。
• 解决和解决数据库完整性问题、性能问题、阻塞和死锁问题、复制问题、日志传送问题、连接问题、安全问题、性能调优、查询优化，使用监控和故障排除工具。
• 创建、测试和实施用于自动化支持的脚本。
• 在生产中与Kafka生态系统（Kafka Brokers、Connect、Zookeeper）一起工作的经验是理想的。
• 实施和支持Kafka、Spark和Kudu等流技术。 
芝加哥