Cliecon Solutions Inc(总部位于新泽西州中部)是一家发展迅速且领先的咨询和管理公司,拥有12年的员工增补经验。我们为财富500强客户、主要实施合作伙伴和一线供应商处理完整的招聘周期。我们专注于为应用程序开发、大数据、数据库、基础架构、云、移动和基于ERP的解决方案项目招聘人才。
职位:具备NiFi知识的Hadoop管理员
地点:远程
合同期限:长期合同
职位描述:
我们正在寻找一位有才华的Hadoop管理员,具备NiFi的专业知识,以管理和优化我们的Hadoop生态系统。在这个角色中,您将在确保我们的大数据基础设施的可用性、可扩展性和性能的同时,利用NiFi简化数据流和处理,发挥关键作用。
主要职责:
• 设计、部署和维护Hadoop集群,确保最佳性能、可扩展性和高可用性。
• 管理和解决与Hadoop生态系统组件相关的问题,包括HDFS、YARN、Hive、HBase、Spark和NiFi。
• 与数据工程师和数据科学家合作,使用NiFi优化数据管道、数据摄取和数据处理工作流程。
• 监控和分析集群的健康状况、容量和性能,并采取积极措施预防和解决潜在的瓶颈或故障。
• 实施安全最佳实践,保护存储和处理在Hadoop环境中的数据。
• 使用Ansible、Chef或Puppet等工具自动化部署、配置和管理任务。
• 与跨职能团队密切合作,使用NiFi设计和实施数据集成和转换流程。
• 编写和维护安装、配置和故障排除程序的文档。
• 参与轮班值班,负责关键事故的响应和解决。
资格要求:
• 计算机科学、信息技术或相关领域的学士学位(或等同的工作经验)。
• 作为Hadoop管理员在生产环境中管理Hadoop集群的实际经验。
• 精通NiFi,包括设计和配置复杂的数据流、处理器和集成。
• 对Hadoop生态系统组件、架构和最佳实践有深入的了解。
• 熟练掌握脚本和自动化(Bash、Python等),用于管理和维护Hadoop集群。
• 有云平台(如AWS、Google Cloud Platform、Azure)和其相关的Hadoop服务经验者优先考虑。
• 熟悉数据仓库概念和工具(如Hive、HBase),用于数据存储和查询。
• 出色的问题解决能力,能够诊断和解决复杂的技术问题。
• 良好的沟通和协作能力,能够在跨职能团队中有效工作。
• 拥有Cloudera认证管理员(CCA)或Hortonworks认证管理员(HCA)等相关认证者优先考虑。