高级数据工程师

15个月前合同
First Derivative

First Derivative

location 多伦多
unsaved
我们是谁? First Derivatives(FD)是一家领先的软件和服务公司,在超高性能分析(KX)方面拥有世界领先的知识产权,涵盖各行各业,并在资本市场系统和技术(托管服务和咨询)方面拥有广泛的领域专业知识和能力。 高级数据工程师: 职位描述 - • 具有Python和Spark开发的实际经验 • 使用ADF和Data bricks实现和维护数据管道。 • 能够解析来自各种源文件结构(如CSV、LOG、JSON和Cobol)的数据,并使用Data bricks将数据加载到各种文件扩展名中。 • 支持业务在构建、故障排除和优化数据智能环境方面的运营。 • 创建和支持用于维护数据仓库、ETL流程和业务智能的ETL。 • 具有使用持续集成和持续交付(CI/CD)等DevOps实践的经验。 • 熟悉开发慢变化维度Type1、Type2和Type3。 • 对调度工具(例如Autosys)有良好的了解。 • 对数据建模和设计有良好的理解。 KX技术旨在捕获和分析数据,以在数据量因市场和机器而呈指数增长的世界中做出实时决策,而现有技术因技术或商业限制而失败。 KX在金融行业得到广泛应用,并准备在高科技制造、汽车、石油和天然气、公用事业和电信等领域实现加速增长。 托管服务和咨询 FD为全球资本市场领域的客户提供各种服务,包括许多世界领先的银行,重点支持关键系统,并帮助其实现和保持合规性。 FD为所有雇员和求职者提供平等的就业机会,并禁止任何形式的种族、肤色、宗教、年龄、性别、国籍、残疾状况、遗传信息、受保护的退伍军人身份、性取向、性别认同或表达等歧视和骚扰,遵守联邦、州或地方法律的保护。