Hadoop管理员及NIFI

15个月前远程合同
CLIECON SOLUTIONS

CLIECON SOLUTIONS

location 旧金山
unsaved
Cliecon Solutions Inc(总部位于新泽西州中部)是一家增长最快且领先的咨询和管理公司,拥有12年的员工增补经验。我们为财富500强客户、主要实施伙伴和一线供应商处理完整的招聘周期。我们专注于为应用开发、大数据、数据库、基础设施、云计算、移动和基于ERP的解决方案项目招聘人员。 职位:具有NIFI技术的Hadoop管理员 地点:远程 合同期限:长期合同 职位描述: 我们正在寻找一位具备专业的Hadoop管理员知识和NiFi技术知识的人才,来管理和优化我们的Hadoop生态系统。在这个角色中,您将在确保我们的大数据基础设施的可用性、可扩展性和性能的同时,利用NiFi来简化数据流和处理。 主要职责: • 设计、部署和维护Hadoop集群,确保最佳性能、可扩展性和高可用性。 • 管理和解决与Hadoop生态系统组件相关的问题,包括HDFS、YARN、Hive、HBase、Spark和NiFi。 • 与数据工程师和数据科学家合作,使用NiFi优化数据管道、数据摄取和数据处理工作流程。 • 监控和分析集群的健康状况、容量和性能,并采取积极措施防止和解决潜在的瓶颈或故障。 • 实施安全最佳实践,保护存储和处理在Hadoop环境中的数据。 • 使用Ansible、Chef或Puppet等工具自动化部署、配置和管理任务。 • 与跨职能团队密切合作,使用NiFi设计和实施数据集成和转换流程。 • 开发和维护安装、配置和故障排除程序的文档。 • 参与轮值值班,负责关键事件的响应和解决。 资格要求: • 计算机科学、信息技术或相关领域的学士学位(或具有等同的工作经验)。 • 具有在生产环境中管理Hadoop集群的实际经验的Hadoop管理员。 • 熟练掌握NiFi,包括设计和配置复杂的数据流、处理器和集成。 • 对Hadoop生态系统组件、架构和最佳实践有深入的理解。 • 熟练掌握脚本和自动化(Bash、Python等),用于管理和维护Hadoop集群。 • 有云平台(如AWS、Google Cloud Platform、Azure)及其与Hadoop相关的服务经验者优先考虑。 • 熟悉数据仓库概念和工具(如Hive、HBase),用于数据存储和查询。 • 出色的解决问题的能力,能够诊断和解决复杂的技术问题。 • 良好的沟通和协作能力,能够在跨职能团队中有效工作。 • 持有相关的认证,如Cloudera认证管理员(CCA)或Hortonworks认证管理员(HCA)者优先考虑。