Dice是每个阶段的技术专家的领先职业目的地。我们的客户Voto Consulting LLC正在寻找以下职位。立即通过Dice申请!
职位:Hadoop管理员/管理者
地点:100%远程
持续时间:1个月以上
客户:戴尔
流程:电话/ Skype
第一阶段:初步设置和规划:
• 确认PowerScale,PowerEdge,操作系统和连接准备就绪,确保所有系统都正常运行并建立了适当的连接。
• 验证基础设施详细信息,包括工作节点,边缘节点和存储配置。
• 验证网络配置与项目要求相符。
第二阶段:试点迁移准备:
• 客户选择试点(测试)迁移的测试集群。
• 在PowerScale上为试点集群建立专用访问区域。
• 在PowerScale上启用对HDFS和NFS的本机支持。
• 设置Hadoop服务,包括Ambari,Hive,Spark和其他所需的支持服务。
• 与内部团队合作并记录试点集群的迁移过程。
第三阶段:试点迁移和评估:
• 执行试点迁移过程。
• 监控和评估试点迁移的成功程度。
• 收集客户反馈并进行必要的调整。
• 记录吸取的经验教训和改进以供未来迁移使用。
• 根据试点为Circana资源进行知识转移(KT)会议。
第四阶段:复杂集群迁移准备:
• 识别一个较为复杂的集群进行迁移。
• 在PowerScale上为复杂集群建立专用访问区域。
• 在PowerScale上启用对HDFS和NFS的本机支持。
• 设置Hadoop服务,包括Ambari,Hive,Spark和支持服务。
• 记录复杂集群的迁移过程。
第五阶段:复杂集群迁移和最终化:
• 执行复杂集群的迁移过程。
• 监控和评估复杂集群迁移的成功程度。
• 收集客户反馈并进行必要的调整。
• 记录吸取的经验教训和改进以供未来迁移使用。
• 根据复杂集群迁移为Circana资源进行知识转移(KT)会议。
第六阶段:数据迁移挑战和优化:
• 解决数据迁移中的潜在挑战,考虑带宽限制。
• 探索优化耗时和潜在错误的过程的创造性解决方案。
• 实施DistCP进行数据传输。
• 记录数据迁移过程和优化。
第七阶段:项目结案和回顾:
• 项目结案电话。
• 确认完成两个迁移任务。
• 与利益相关者进行最终审查,确保达到所有目标。
• 从客户处获得关于迁移成功完成的确认。
• 记录并分享最终的项目报告,包括关键指标和结果。
• 客户签署项目客户验收表(CAF)。