领先的Databricks工程师,具备Python和SQL技能 - 纽约市,纽约州或新泽西州伊塞林

16个月前合同
Dice

Dice

location 纽约
unsaved
Dice是每个阶段的技术专家的领先职业目的地。我们的客户United IT Solutions正在寻找以下职位。立即通过Dice申请! 职位:具有Python和SQL的首席Databricks工程师 地点:纽约市,纽约州或新泽西州伊塞林(混合-办公室工作3天) 主要职责: 处理与抵押品、ETD、OTD、结算市场、现金产品、回购、双重回购相关的金融数据。 设计、开发和部署Databricks作业以处理和分析大量数据。 与数据工程师和数据科学家合作,了解数据需求并实施适当的数据处理流程。 优化Databricks作业的性能和可伸缩性,以处理大数据工作负载。 监控和排除Databricks作业,识别和解决问题或瓶颈。 在Databricks环境中实施数据管理、安全性和治理的最佳实践。具有设计和开发企业数据仓库解决方案的经验。 展示数据分析和数据洞察的熟练掌握。 熟练编写SQL查询和编程,包括存储过程和逆向工程现有流程。 具备Azure Synapse/Bigquery/Redshift经验为佳。 执行代码审查,确保符合要求、最佳执行模式和遵守既定标准。 技能: 5年以上金融/银行业经验-资本市场、投资银行-抵押品、ETD、OTD、结算市场、现金产品、回购、双重回购 10年以上企业数据管理经验 10年以上基于SQL Server的大型数据集开发经验 5年以上数据仓库架构经验,具有Databricks平台的实际经验。具有广泛的PySpark编码经验。 具备Azure Synapse/Bigquery/Redshift经验为佳 3年以上Python(numpy,pandas)编码经验 具备Snowflake工具(如SnowSQL和SnowPipe)的经验为佳 具备数据仓库-OLTP、OLAP、维度、事实和数据建模经验。 具有领导企业级云数据平台迁移的经验,具备较强的架构和设计能力 能够独立讨论企业级服务,无论技术堆栈如何 具备基于云的数据架构、消息传递和分析经验 出色的沟通能力 云认证 具备监管报告经验者优先考虑 教育背景 至少具有工程学和/或计算机科学学科的学士学位 强烈建议具有硕士学位 首席Databricks工程师(具有Python和SQL)- 纽约市,纽约州或新泽西州伊塞林(混合)- 合同