你好,
我是来自Photon的Ravali,我们有一个紧急的全职职位,Hadoop平台工程师/ Hadoop管理员 @ Irving, TX / Jersey City, NJ / Charlotte, NC / Wilmington, DE (第一天现场工作)
如果你有兴趣,请将你的更新简历发送至""。
工作详情:
职位:Hadoop管理员/ Hadoop平台工程师
地点:Irving, TX / Jersey City, NJ / Charlotte, NC / Wilmington, DE (第一天现场工作)
工作周期:全职
工作描述:
Hadoop平台工程师 - 需要资深人士。
作为Hadoop平台工程师,您将负责设计、实施和管理我们公司的Hadoop基础设施和数据生态系统。您将与跨职能团队合作,了解数据需求,优化数据流水线,并确保Hadoop集群的可靠性和性能。您还将负责管理和监控Hadoop环境,解决问题,并实施安全措施。
所需技能:
平台工程:
集群管理:
• 精通设计、实施和维护大规模Hadoop集群,包括HDFS、YARN和MapReduce等组件。
• 与数据工程师和数据科学家合作,了解数据需求并优化数据流水线。
管理和监控:
• 有管理和监控Hadoop集群以确保高可用性、可靠性和性能的经验。
• 有解决与Hadoop基础设施、数据摄取、数据处理和数据存储相关问题的经验。
安全实施:
• 有在Hadoop集群中实施和管理安全措施的经验,包括身份验证、授权和加密。
备份和灾难恢复:
• 与跨职能团队合作,为Hadoop集群定义和实施备份和灾难恢复策略。
性能优化:
• 通过调整配置、容量规划和实施性能监控和调优技术,优化Hadoop性能的经验。
自动化和DevOps协作:
• 与DevOps团队合作,自动化Hadoop基础设施的供应、部署和管理流程。
技术采用和建议:
• 保持对Hadoop生态系统最新发展的了解。
• 推荐和实施增强平台的新技术和工具。
文档编写:
• 有编写Hadoop基础设施配置、流程和最佳实践的经验。
技术支持和指导:
• 为其他团队成员和利益相关者提供技术指导和支持。
管理员:
用户界面设计:
• 为Hadoop生态系统中的工具设计界面,提供自助服务功能,例如Hadoop集群管理界面或作业调度仪表板。
基于角色的访问控制(RBAC):
• 重要的是控制对Hadoop集群的访问,确保用户具有执行自助任务的适当权限。
集群配置模板:
• 有助于在Hadoop集群中保持一致的配置,确保用户遵循最佳实践和准则。
资源管理:
• 优化Hadoop集群内资源利用的重要性,允许用户根据自身需求动态管理资源。
自助服务供应:
• 适用于使用户能够独立地提供和管理Hadoop集群中的节点的功能。
监控和警报:
• 监控Hadoop集群的健康和性能是必要的,为用户提供有关其集群状态的见解。
自动扩展:
• 根据工作负载需求自动调整Hadoop集群的规模是相关的。
作业调度和优先级:
• 有效地管理Hadoop集群内的数据处理作业是重要的。
自助数据摄取:
• 适用于帮助用户独立地将数据摄取到Hadoop集群中的功能。
查询优化和调优协助:
• 为用户提供优化和调优查询的工具或指导,与基于Hadoop的数据交互时。
文档和培训:
• 创建资源以帮助用户有效地使用Hadoop生态系统中的自助服务功能是重要的。
数据访问控制:
• 控制对存储在Hadoop集群中的数据的访问是相关的,确保适当的数据治理。
备份和恢复功能:
• 适用于允许用户对存储在Hadoop集群中的数据执行备份和恢复操作的功能。
容器化和编排:
• 使用容器化和编排工具在Hadoop集群中部署和管理应用程序是相关的。
用户反馈机制:
• 根据用户输入和在Hadoop生态系统中的体验不断改进自助服务功能是重要的。
成本监控和优化:
• 适用于帮助用户监控和优化与使用Hadoop集群相关的成本的工具或功能。
合规性和审计:
• 确保符合组织政策并审计Hadoop生态系统中的用户活动是相关的。
谢谢和祝好
Ravali Sirimella