高级Hadoop管理员

15个月前远程全职
Quality IT Source, LLC

Quality IT Source, LLC

location 洛杉矶
unsaved
12个月+合同的中级Hadoop管理员在北卡罗来纳州夏洛特有紧急需求 - 安装、升级、配置、调优和应用Cloudera Manager、CDH和所有CDH服务的补丁 - 安装/升级R和R包 - 安装/升级Python和Python包 - 安装/升级SparkR - 资源管理配置和调优 - 添加和配置主节点、工作节点和边缘节点 - 添加数据科学盒子(Linux盒子)并配置Hadoop服务 - 安装、配置和管理RStudio/JupyterHub/Dataiku - 灾难恢复和相关活动,如配置额外的复制和备份 - 安装、配置和升级Rundeck - 创建/更新和管理指标和性能报告 - 脚本编写 - 使用Shell脚本、Python脚本、Ansible、Java - 为新产品增强构建Ansible角色 - 调试代码/脚本以修复错误/问题 - 在Stash/GitHub中维护脚本/代码 - 主机准备 - 根据标准准备主机 - 准备文件系统/挂载点 - 安装/升级所需的服务LDAP、DNS、KDC、HAPRoxy等 - 安装所需的软件包 - 与数据传输团队合作设置新的Hadoop用户;设置Linux用户,设置Kerberos主体并测试新用户对HDFS、Hive、Pig和MapReduce的访问 - 开发新的流程以更好地维护环境 - 与开发和数据科学团队合作解决问题 - 供应商升级的联系人 - 执行并提供关于运营政策、程序、流程和标准的反馈 - 支持任何需要在生产环境中关注的流程 - 自动化手动任务 - 流程支持 - 开发基础设施文档 - 这将是远程工作机会,直到2022年2月