Hadoop管理员

15个月前全职
Photon

Photon

location 芝加哥
unsaved
我们是Photon,世界上最大的数字平台工程公司之一,为广泛的客户提供战略咨询、创意设计和技术服务的独特组合。 我们是一个高速增长的组织,为全球100强公司中的40%提供服务,坚信我们的员工为客户和业务带来了世界上的差异。在Photon,您有机会学习和成长,建立深厚的数字/技术专业知识,并实现您的职业和个人愿望。 请查看我们的介绍视频-https://vimeo.com/708402190/6927030bf6 职位详情: 职位角色:Hadoop平台工程师 地点:德克萨斯州欧文/新泽西州泽西城/北卡罗来纳州夏洛特/特拉华州威尔明顿(首日现场工作) 工作时长:全职 Hadoop平台工程师-需要资深人才。 作为一名Hadoop平台工程师,您将负责设计、实施和管理我们公司的Hadoop基础设施和数据生态系统。您将与跨职能团队合作,了解数据需求,优化数据流程,并确保Hadoop集群的可靠性和性能。您还将负责管理和监控Hadoop环境,解决问题,并实施安全措施。 所需技能: 平台工程: 集群管理: • 在大容量环境中设计、实施和维护Hadoop集群,包括HDFS、YARN和MapReduce等组件。 • 与数据工程师和数据科学家合作,了解数据需求并优化数据流程。 管理和监控: • 有管理和监控Hadoop集群以确保高可用性、可靠性和性能的经验。 • 有解决与Hadoop基础设施、数据摄取、数据处理和数据存储相关问题的经验。 安全实施: • 有在Hadoop集群中实施和管理安全措施的经验,包括身份验证、授权和加密。 备份和灾难恢复: • 与跨职能团队合作,定义和实施Hadoop集群的备份和灾难恢复策略。 性能优化: • 通过微调配置、容量规划和实施性能监控和调优技术,优化Hadoop性能的经验。 自动化和DevOps合作: • 与DevOps团队合作,自动化Hadoop基础设施的供应、部署和管理流程。 技术采用和建议: • 了解Hadoop生态系统的最新发展。 • 推荐和实施能增强平台的新技术和工具。 文档编写: • 有编写Hadoop基础设施配置、流程和最佳实践的经验。 技术支持和指导: • 向其他团队成员和利益相关者提供技术指导和支持。 管理员: 用户界面设计: • 设计Hadoop生态系统内工具的界面,提供自助服务功能,如Hadoop集群管理界面或作业调度仪表板。 基于角色的访问控制(RBAC): • 控制对Hadoop集群的访问权限,确保用户具有执行自助任务的适当权限。 集群配置模板: • 用于保持Hadoop集群的一致配置,确保用户遵循最佳实践和准则。 资源管理: • 优化Hadoop集群内的资源利用,允许用户根据需求动态管理资源。 自助服务供应: • 用于使用户能够独立地提供和管理Hadoop集群中的节点的功能。 监控和警报: • 监控Hadoop集群的健康和性能,为用户提供对集群状态的洞察。 自动扩展: • 根据工作负载需求自动调整Hadoop集群的规模。 作业调度和优先级: • 有效地管理Hadoop集群内的数据处理作业。 自助数据摄取: • 提供帮助用户独立将数据摄取到Hadoop集群的功能。 查询优化和调优辅助: • 为用户提供优化和调优与基于Hadoop的数据交互时的查询的工具或指导。 文档和培训: • 创建资源,帮助用户有效地了解如何使用Hadoop生态系统内的自助服务功能。 数据访问控制: • 控制对存储在Hadoop集群中的数据的访问权限,确保适当的数据治理。 备份和恢复功能: • 提供允许用户对存储在Hadoop集群中的数据执行备份和恢复操作的功能。 容器化和编排: • 使用容器化和编排工具在Hadoop集群内部署和管理应用程序。 用户反馈机制: • 根据用户输入和在Hadoop生态系统中的经验,持续改进自助服务功能。 成本监控和优化: • 提供帮助用户监控和优化与使用Hadoop集群相关的成本的工具或功能。 合规性和审计: • 确保符合组织政策,并审计Hadoop生态系统内的用户活动。 谢谢和问候 Ravali Sirimella sirimella.ravali@photon.com