高级大数据工程师

15个月前远程全职
63K - 95K USD ust

ust

location 洛杉矶
unsaved
职位描述 我们是谁 UST是一家数字原生公司,通过技术的力量改变人们的生活。我们与客户和合作伙伴并肩前行,将创新和敏捷性融入到他们的一切工作中。我们帮助他们创造变革性的体验和以人为本的解决方案,为更美好的世界贡献力量。 UST是一个使命驱动的团队,拥有超过39,000名实际问题解决者和创造性思考者,分布在30多个国家。我们的创业团队被授权创新,行动敏捷,并为我们的客户、他们的客户以及我们所生活的社区创造持久和可持续的影响。 加入我们,你将创造无限的影响,改变你的职业生涯,改变世界各地人们的生活。 请访问我们的网站UST.com。 你是 我们正在寻找一位经验丰富的高级大数据工程师,至少拥有6年的实际经验,能够设计、实施和维护使用Apache Spark、Hive和Yarn的大数据解决方案。理想的候选人应具备强大的数据处理、优化和集成背景,以及在快节奏环境中交付高质量、可扩展解决方案的成功记录。 机会 • 使用Apache Spark、Hive和Yarn设计和实施强大可扩展的大数据架构。 • 与跨职能团队合作,了解业务需求并将其转化为技术规范。 • 使用Spark开发和优化数据处理管道,实现高效的数据转换和分析。 • 实施Hive查询和数据仓库解决方案,处理结构化和半结构化数据。 • 管理和优化Apache Yarn集群,以实现资源分配和利用的高效性。 • 解决与集群和作业执行相关的性能问题。 • 实施ETL流程,将来自不同来源的大量数据导入、转换和加载到大数据生态系统中。 • 确保ETL过程中的数据质量和完整性。 • 对Spark和Hive作业进行性能调优和优化,提高整体系统效率。 • 监控和分析作业执行指标,识别和解决瓶颈问题。 • 与数据科学家、分析师和其他利益相关者合作,了解他们的数据处理需求。 • 为团队记录和传达技术解决方案、最佳实践和指导方针。 你需要什么 • 计算机科学、工程或相关领域的学士学位。 • 至少6年的大数据技术实际经验,专注于Apache Spark、Hive和Yarn。 • 熟练掌握Java、Scala或Python等编程语言。 • 对分布式计算原理和数据处理框架有深入的理解。 • 在大规模数据集的设计和实施ETL流程方面有经验。 • 具备解决和优化大数据环境中性能问题的能力。 • 出色的沟通和合作能力。 • 能够在快节奏、动态的环境中工作。 薪酬可能因特定办公地点、职位、技能、教育和经验水平等因素而有所不同。根据当地法律的要求,UST为在加利福尼亚州、科罗拉多州、纽约州或华盛顿州聘用的职位提供合理的薪酬范围,如下所示。 职位地点:远程 薪酬范围:63000美元-95000美元 我们的信念 我们自豪地拥抱了自UST成立以来塑造我们的价值观。从一开始,我们一直在建立持久的关系和诚信的文化。今天,正是这些价值观激励我们鼓励每个人创新,倡导多样性和包容性,并将人放在我们所做的一切事情的中心。 谦逊 我们将倾听、学习、怀有同理心,并无私地帮助与我们互动的每个人。 人性 通过商业,我们将改善那些不如我们幸运的人的生活。 诚信 我们恪守承诺,在所有关系中负责任地行事。 平等就业机会声明 UST是一家平等就业机会雇主。 所有合格的申请人将获得平等的就业机会,不论种族、肤色、宗教、性别、性取向、性别认同、民族来源、残疾或作为受保护的退伍军人的身份。 UST保留根据组织要求和/或您的表现定期重新定义您的角色和职责的权利。