高级大数据工程师 - Oozie 和 Pig /GCP/

4个月前全职
64.9万 - 95.1万 / 月 Rackspace

Rackspace

location 新加坡
unsaved
关于该职位 我们正在寻找一位高级大数据工程师,具备分布式系统、批量数据处理和大规模数据管道的深厚专业知识。理想的候选人应具有 Oozie、Pig、Apache Hadoop 生态系统的强大实践经验,并在 Java(首选)或 Python 编程方面具备扎实的能力。该职位要求对数据结构和算法有深入理解,并且具有编写生产级代码和构建稳健数据工作流的良好记录。 这是一个完全远程的职位,要求独立、自我驱动的工程师,能够在复杂的技术环境中茁壮成长,并能够有效地与团队沟通。 工作地点:美国-远程,加拿大-远程 主要职责: • 使用 Hadoop、Oozie、Pig、Hive、MapReduce 和 HBase 等技术设计和开发可扩展的批处理系统,能够使用 Java 或 Python 进行实际编码(Java 是必须的)。 • 必须能够领导 Jira 史诗。 • 编写干净、高效、适合生产的代码,重点关注数据结构和算法问题解决,应用于实际的数据工程任务。 • 在 Apache Hadoop 生态系统内开发、管理和优化复杂的数据工作流,重点关注 Oozie 编排和作业调度。 • 利用 Google Cloud Platform (GCP) 工具,如 Dataproc、GCS 和 Composer,构建可扩展和云原生的大数据解决方案。 • 实施 DevOps 和自动化最佳实践,包括 CI/CD 管道、基础设施即代码 (IaC) 和分布式系统的性能调优。 • 与跨职能团队合作,确保数据管道的可靠性、代码质量和在以远程为主的环境中的运营卓越。 资格要求: • 计算机科学、软件工程或相关领域的学士学位。 • 具有托管云服务的经验,并了解基于云的批处理系统至关重要。 • 必须能够领导 Jira 史诗。 • 精通 Oozie、Airflow、Map Reduce、Java 是必须的。 • 具备 Java(特别是 Spark)、Python、Pig 和 SQL 的强大编程技能。 • 在公共云服务方面的专业知识,特别是在 GCP 上。 • 精通 Apache Hadoop 生态系统,熟悉 Oozie、Pig、Hive、Map Reduce。 • 熟悉 BigTable 和 Redis。 • 在日常工作中应用基础设施和 DevOps 原则的经验。利用 CI/CD、基础设施即代码 (IaC) 工具(如 Terraform)来自动化和改善开发和发布流程。 • 在大规模批处理系统工程方面有证明的经验。 必须具备:(重要) • 5 年以上客户导向的软件/技术或咨询经验。 • 5 年以上“本地到云”迁移或 IT 转型的经验。 • 5 年以上在 GCP 上构建和运营解决方案的经验。 • 精通 Oozie 和 Pig。 • 必须能够领导 Jira 史诗。 • 精通 Java 或 Python。 以下信息是加利福尼亚州、科罗拉多州、夏威夷州、纽约州和华盛顿州的薪酬透明立法所要求的。这些信息仅适用于在这些州工作的个人。 · 科罗拉多州的预期起始薪资范围为:$116,100 - $170,280。 · 夏威夷州和纽约州(不包括纽约市)的预期起始薪资范围为:$123,600 - $181,280。 · 加利福尼亚州、纽约市和华盛顿州的预期起始薪资范围为:$135,300 - $198,440。 除非已经包含在发布的薪资范围内,并根据资格,职位可能包括以奖金、佣金或其他酌情付款形式的可变薪酬。这些酌情付款基于公司和/或个人的表现,并可能随时变更。实际薪酬受到多种因素的影响,包括但不限于技能、经验水平、执照和证书以及具体工作地点。有关提供的福利信息,请查看此处。 #LI-RL1 #LI-Remote 关于 Rackspace Technology 我们是多云解决方案的专家。我们将我们的专业知识与全球领先的技术相结合——涵盖应用、数据和安全——提供端到端解决方案。我们在根据客户的业务挑战提供建议、设计可扩展的解决方案、构建和管理这些解决方案以及优化未来回报方面有着良好的记录。根据《财富》、《福布斯》和 Glassdoor 的评选,我们连续多年被评为最佳工作场所,吸引并培养世界一流的人才。加入我们,共同致力于拥抱技术、赋能客户并交付未来。 关于 Rackspace Technology 的更多信息 尽管我们都不同,但 Rackers 通过与中心目标的联系而茁壮成长:成为赢得团队中有价值的成员,参与激励人心的使命。我们每天都全情投入工作。我们接受独特视角助力创新的观念,使我们能够更好地为全球客户和社区服务。我们欢迎您今天申请,并希望您知道,我们致力于提供平等的就业机会,不论年龄、肤色、残疾、性别重新分配或身份或表达、基因信息、婚姻或民事伴侣状态、怀孕或产假状态、军人或退伍军人状态、国籍、民族或国籍、种族、宗教或信仰、性取向或任何法律保护特征。如果您有残疾或特殊需求需要住宿,请告知我们。