Hadoop开发人员(泽西市)

纽约 29天前全职 网络
面议
职位名称:Cloudera / Hadoop 管理员 薪资:$65 / 小时,C2C 地点:混合办公模式,3天在新泽西州泽西市 时长:12个月以上 经验:9年以上 面试流程:2轮,最后一轮为面对面 寻求条件: - 至少3年在生产环境中担任Cloudera / Hadoop管理员的实际经验。 - 拥有相关认证,如Apache Hadoop的Cloudera认证管理员者优先。 - 熟练掌握Linux / Unix操作系统和命令行工具。 - 具有使用集群管理工具(尤其是Cloudera Manager)的经验。 - 深刻理解安全协议(Kerberos, SSL / TLS)及其在大数据环境中的实施。 - 优秀的问题解决、分析和沟通能力。 我们正在寻找一位经验丰富的Cloudera管理员来管理和维护我们的企业级大数据平台。理想的候选人将确保我们本地Cloudera集群的稳定性、性能和安全性,并与数据工程、数据库、网络和应用团队合作,支持数据驱动的项目。 主要职责领域: 1. 集群管理:在三个环境中部署、配置、管理和维护Cloudera Hadoop / CDP集群。 2. 监控和性能调优:使用Cloudera Manager、Grafana和Splunk等工具监控集群连接性、健康状况和性能。主动识别和解决性能瓶颈,调整配置(HDFS, YARN, Spark, Hive等),并进行容量规划。 3. 安全和合规:实施和管理集群安全配置,包括Kerberos、Sentry / Ranger授权、HDFS ACLs,并与企业IAM / LDAP集成。 4. 自动化和脚本编写:使用Python、Bash或Perl开发和维护自动化脚本,用于例行管理任务、配置管理和简化操作。 5. 故障排除和支持:为Hadoop生态系统组件和大数据应用相关问题提供专家级故障排除和技术支持,包括参与值班轮换。 6. 升级和补丁:执行Hadoop软件和Cloudera组件的安装、补丁和升级,同时确保最小停机时间。 要求: 至少3年在生产环境中担任Cloudera / Hadoop管理员的实际经验。 拥有相关认证,如Apache Hadoop的Cloudera认证管理员者优先。 熟练掌握Linux / Unix操作系统和命令行工具。 具有使用集群管理工具(尤其是Cloudera Manager)的经验。 深刻理解安全协议(Kerberos, SSL / TLS)及其在大数据环境中的实施。 优秀的问题解决、分析和沟通能力。 工作职责: 1. 集群管理:在三个环境中部署、配置、管理和维护Cloudera Hadoop / CDP集群。 2. 监控和性能调优:使用Cloudera Manager、Grafana和Splunk等工具监控集群连接性、健康状况和性能。主动识别和解决性能瓶颈,调整配置(HDFS, YARN, Spark, Hive等),并进行容量规划。 3. 安全和合规:实施和管理集群安全配置,包括Kerberos、Sentry / Ranger授权、HDFS ACLs,并与企业IAM / LDAP集成。 4. 自动化和脚本编写:使用Python、Bash或Perl开发和维护自动化脚本,用于例行管理任务、配置管理和简化操作。 5. 故障排除和支持:为Hadoop生态系统组件和大数据应用相关问题提供专家级故障排除和技术支持,包括参与值班轮换。 6. 升级和补丁:执行Hadoop软件和Cloudera组件的安装、补丁和升级,同时确保最小停机时间。