Hadoop管理员/管理员

15个月前远程全职
Dice

Dice

location 洛杉矶
unsaved
Dice是每个阶段的技术专家的领先职业目的地。我们的客户Voto Consulting LLC正在寻找以下职位。立即通过Dice申请! 职位:Hadoop管理员/管理者 地点:100%远程 持续时间:1个月以上 客户:戴尔 流程:电话/ Skype 第一阶段:初步设置和规划: • 确认PowerScale,PowerEdge,操作系统和连接准备就绪,确保所有系统都正常运行并建立了适当的连接。 • 验证基础设施详细信息,包括工作节点,边缘节点和存储配置。 • 验证网络配置与项目要求相符。 第二阶段:试点迁移准备: • 客户选择试点(测试)迁移的测试集群。 • 在PowerScale上为试点集群建立专用访问区域。 • 在PowerScale上启用对HDFS和NFS的本机支持。 • 设置Hadoop服务,包括Ambari,Hive,Spark和其他所需的支持服务。 • 与内部团队合作并记录试点集群的迁移过程。 第三阶段:试点迁移和评估: • 执行试点迁移过程。 • 监控和评估试点迁移的成功程度。 • 收集客户反馈并进行必要的调整。 • 记录吸取的经验教训和改进以供未来迁移使用。 • 根据试点为Circana资源进行知识转移(KT)会议。 第四阶段:复杂集群迁移准备: • 识别一个较为复杂的集群进行迁移。 • 在PowerScale上为复杂集群建立专用访问区域。 • 在PowerScale上启用对HDFS和NFS的本机支持。 • 设置Hadoop服务,包括Ambari,Hive,Spark和支持服务。 • 记录复杂集群的迁移过程。 第五阶段:复杂集群迁移和最终化: • 执行复杂集群的迁移过程。 • 监控和评估复杂集群迁移的成功程度。 • 收集客户反馈并进行必要的调整。 • 记录吸取的经验教训和改进以供未来迁移使用。 • 根据复杂集群迁移为Circana资源进行知识转移(KT)会议。 第六阶段:数据迁移挑战和优化: • 解决数据迁移中的潜在挑战,考虑带宽限制。 • 探索优化耗时和潜在错误的过程的创造性解决方案。 • 实施DistCP进行数据传输。 • 记录数据迁移过程和优化。 第七阶段:项目结案和回顾: • 项目结案电话。 • 确认完成两个迁移任务。 • 与利益相关者进行最终审查,确保达到所有目标。 • 从客户处获得关于迁移成功完成的确认。 • 记录并分享最终的项目报告,包括关键指标和结果。 • 客户签署项目客户验收表(CAF)。