首席数据工程师 - 大数据

1个月前全职
84.6万 - 169.9万 / 年 S&P Global

S&P Global

location 纽约
unsaved
工作地点:纽约 职位介绍: 级别(仅供内部使用): 12 职位介绍: 标题: 首席数据工程师 - 大数据 团队: 您将成为评级组织数据摄取管道工程团队的专家贡献者。该团队对评级组织的关键数据领域、技术栈和架构模式具有广泛和专业的知识,促进知识共享和协作,从而形成统一的战略。所有数据服务团队成员提供领导力、创新、及时交付,并能够清晰表达业务价值。 加入一个独特的机会,构建和发展标普评级下一代数据摄取管道平台。 职责与影响: • 使用ELT和按需模式设计和构建数据摄取管道,使用Databricks Delta Lake。 • 使用ELT框架设计和开发“转换”方面,以现代化数据摄取管道并大规模构建数据转换。 • 在设计和实施评级数据摄取管道方面提供技术专长,使用现代AWS云及其他技术,如S3、Hive、Databricks、Scala、Python和大规模数据分析工具。 • 构建和维护一个快速、准确、一致和高可用性的数据环境。 • 与其他数据团队和数据科学团队密切合作,参与数据摄取管道的开发。 • 确保采用数据治理原则,实施数据质量检查和数据血缘追踪。 • 关注大数据和云技术的新兴趋势,参与新技术的评估。 • 通过遵循企业标准和促进与组织标准一致的最佳实践/指导原则,确保合规性。 薪酬/福利信息: 标普全球表示,该职位的预期基本薪资范围为118,094美元到237,100美元。此职位的最终基本薪资将基于个人地理位置、经验水平、技能、培训、执照和认证。 除了基本薪酬外,此职位还符合年度激励计划的资格。此职位还有资格获得额外的标普全球福利。有关我们为员工提供的福利的更多信息,请访问。 我们正在寻找的: 必备资格: • 计算机科学或信息技术的BE、MCA或MS学位。 • 在创新型组织中担任数据工程师的10年以上经验。 • 在使用AWS/Azure云技术(如S3、Databricks、Hive、大规模数据分析工具、Scala、Python等)实施数据湖系统方面有5年以上的实践经验。 • 在使用数据流处理工具、Golden Gate等构建批量和增量数据加载的摄取管道方面有3年以上的专业经验。 • 在SDLC周期中有强大的专业知识(最好5年),包括利益相关者管理、人员管理、风险管理、战略管理、沟通管理。 • 应具备处理问题解决的能力,并为团队提供技术和功能上的指导。 • 具有开发框架以及数据和集成技术(如Python、Scala)的经验。 • 在微服务和API设计与实施方面有经验,熟悉面向服务的架构、SOAP和RESTful API。 • 在使用数据流处理工具、Databricks、大规模数据分析工具和Scala开发可扩展数据管道方面有实践经验,应用ETL和ELT概念。 • 深入了解三种或更多技术,如Java/J2EE、C#、AWS、大规模数据分析工具、Python、Scala、任何RDBMS、数据流处理工具、Informatica、Angular/React JS、Databricks、云原生编排工具。 • 具备使用Jenkins和Azure Dev Ops等持续集成和部署工具的经验。 • 在UNIX/Linux环境中工作,包括Shell脚本的经验。 • 对云原生架构、设计模式和最佳实践有深入理解。 • 应具备将需求转化为解决方案的能力。 • 了解技术和行业趋势,能够开发和呈现实质性的技术解决方案。