职位描述
我们是谁
UST是一家数字原生公司,通过技术的力量改变人们的生活。我们与客户和合作伙伴并肩前行,将创新和敏捷性融入到他们的一切工作中。我们帮助他们创造变革性的体验和以人为本的解决方案,为更美好的世界贡献力量。
UST是一个使命驱动的团队,拥有超过39,000名实际问题解决者和创造性思考者,分布在30多个国家。我们的创业团队被授权创新,行动敏捷,并为我们的客户、他们的客户以及我们所生活的社区创造持久和可持续的影响。
加入我们,你将创造无限的影响,改变你的职业生涯,改变世界各地人们的生活。
请访问我们的网站UST.com。
你是
我们正在寻找一位经验丰富的高级大数据工程师,至少拥有6年的实际经验,能够设计、实施和维护使用Apache Spark、Hive和Yarn的大数据解决方案。理想的候选人应具备强大的数据处理、优化和集成背景,以及在快节奏环境中交付高质量、可扩展解决方案的成功记录。
机会
• 使用Apache Spark、Hive和Yarn设计和实施强大可扩展的大数据架构。
• 与跨职能团队合作,了解业务需求并将其转化为技术规范。
• 使用Spark开发和优化数据处理管道,实现高效的数据转换和分析。
• 实施Hive查询和数据仓库解决方案,处理结构化和半结构化数据。
• 管理和优化Apache Yarn集群,以实现资源分配和利用的高效性。
• 解决与集群和作业执行相关的性能问题。
• 实施ETL流程,将来自不同来源的大量数据导入、转换和加载到大数据生态系统中。
• 确保ETL过程中的数据质量和完整性。
• 对Spark和Hive作业进行性能调优和优化,提高整体系统效率。
• 监控和分析作业执行指标,识别和解决瓶颈问题。
• 与数据科学家、分析师和其他利益相关者合作,了解他们的数据处理需求。
• 为团队记录和传达技术解决方案、最佳实践和指导方针。
你需要什么
• 计算机科学、工程或相关领域的学士学位。
• 至少6年的大数据技术实际经验,专注于Apache Spark、Hive和Yarn。
• 熟练掌握Java、Scala或Python等编程语言。
• 对分布式计算原理和数据处理框架有深入的理解。
• 在大规模数据集的设计和实施ETL流程方面有经验。
• 具备解决和优化大数据环境中性能问题的能力。
• 出色的沟通和合作能力。
• 能够在快节奏、动态的环境中工作。
薪酬可能因特定办公地点、职位、技能、教育和经验水平等因素而有所不同。根据当地法律的要求,UST为在加利福尼亚州、科罗拉多州、纽约州或华盛顿州聘用的职位提供合理的薪酬范围,如下所示。
职位地点:远程
薪酬范围:63000美元-95000美元
我们的信念
我们自豪地拥抱了自UST成立以来塑造我们的价值观。从一开始,我们一直在建立持久的关系和诚信的文化。今天,正是这些价值观激励我们鼓励每个人创新,倡导多样性和包容性,并将人放在我们所做的一切事情的中心。
谦逊
我们将倾听、学习、怀有同理心,并无私地帮助与我们互动的每个人。
人性
通过商业,我们将改善那些不如我们幸运的人的生活。
诚信
我们恪守承诺,在所有关系中负责任地行事。
平等就业机会声明
UST是一家平等就业机会雇主。
所有合格的申请人将获得平等的就业机会,不论种族、肤色、宗教、性别、性取向、性别认同、民族来源、残疾或作为受保护的退伍军人的身份。
UST保留根据组织要求和/或您的表现定期重新定义您的角色和职责的权利。