大数据工程师

16个月前全职
S&P Global

S&P Global

location 纽约
unsaved
标普全球评级正在寻找一名高级大数据工程师加入数据湖团队,该团队属于数据服务组,由数据和技术专业人员组成,为标普全球评级制定和执行战略数据路线图。 成功的候选人将参与设计和构建标普评级的尖端数据服务和分析解决方案。 团队 数据湖团队负责从内部源系统批量/实时模式中摄取数据,对平台中创建的数据资产进行整理和治理。 该团队还致力于采用Databricks产品的新功能,并优化平台的运营方面,以提升用户社区的体验。 团队具备广泛和专业的知识,了解评级组织的关键数据领域、技术堆栈和架构模式,促进知识共享和协作,形成统一的战略。 影响 您将成为评级组织数据服务产品工程团队的专家贡献者之一,有机会构建和发展标普评级的下一代数据和分析平台。 我们的招聘经理说 如果您是一名具有作为数据工程师交付大数据项目的经验的个人,这是一个绝佳的机会。 我们正在寻找具有深入技术知识的人,熟悉数据湖系统,并且在业务转型项目中具备实际操作经验。 职责: • 设计和构建数据管道,注重规模、性能和可靠性。 • 在设计和实施基于Databricks在AWS云上的数据湖解决方案方面提供技术专长。 • 确保在数据的每个阶段都采用数据治理原则,实施数据质量检查和数据血统。 • 与数据团队、企业架构组织合作,确保关键数据领域和用例的最佳标准使用。 • 不断学习,关注数据湖架构和企业数据解决方案的新趋势。 • 通过采用企业标准并推广与组织标准一致的最佳实践/指导原则来确保合规性。 经验和资格: • 计算机科学或信息技术领域的学士、硕士或博士学位 • 在大数据技术领域有8年以上的解决方案构建经验。 • 具有Java、Scala、Python、Spark等多种编程语言的丰富经验。 • 具有使用Kafka、Confluent等构建流式数据管道的实际经验。 • 必须具备使用Databricks、Snowflake、Azure Data Lake等构建数据湖和数据仓库解决方案的经验。 • 对行业中的数据库和分析技术(包括MPP和NoSQL数据库)有深入了解。 • 对AWS、Azure或GCP等云平台及其服务(如EC2、S3、AKS、EKS等)有深入了解。 • 具有通过CI/CD管道、容器和编排技术进行持续交付的经验。 • 具有机器学习库和框架(如TensorFlow、MLlib)的经验是一个额外的优势。 • 监测行业趋势和方向;向高级管理层提出实质性的技术建议。 • 具备优秀的分析思维、人际交往、口头和书面沟通能力,并具有强大的影响力,能够影响IT和业务伙伴。 • 在快节奏的环境中优先处理和管理工作,以满足关键项目的时间要求。 • 具备金融服务行业经验是一个额外的优势。 • 具备Databricks经验或认证是一个额外的优势。 • 必须具备AWS或任何公有云的认证。 关于公司声明: 标普全球提供支持决策的重要智能。我们为全球领先的组织提供正确的数据、连接的技术和专业知识,帮助他们前进。 作为我们团队的一员,您将帮助解决复杂的挑战,为企业、政府和个人提供适应经济变化的知识。 标普全球评级提供重要的信用、风险和可持续金融解决方案的关键见解,将复杂性转化为清晰度,以便市场参与者发现机会。