Dice是技术专家在职业生涯的每个阶段的首选职业目的地。我们的客户Zortech Solutions正在寻找以下职位。立即通过Dice申请!
职位:具有Pyspark和Python经验的Databricks工程师
地点:纽约市,纽约州或伊塞林,新泽西州(混合办公室工作3天)
持续时间:6个月以上
职位描述:
必须进行面试,如果不在当地,将支付面试费用
职位描述:
这个职位是一个云数据/报告工程师,需要具备SQL和数据仓库的背景,以应对企业级系统的需求。这个职位需要与业务用户一起工作,并具备业务分析师的专业知识。
主要职责:
设计、开发和部署Databricks作业以处理和分析大量数据。
与数据工程师和数据科学家合作,了解数据需求并实施适当的数据处理流程。
优化Databricks作业的性能和可扩展性,以处理大数据工作负载。
监控和排除Databricks作业中的问题,识别和解决问题或瓶颈。
在Databricks环境中实施最佳数据管理、安全性和治理实践。具备设计和开发企业数据仓库解决方案的经验。
展示数据分析、数据洞察的熟练程度
熟练编写SQL查询和编程,包括存储过程和逆向工程现有流程
利用SQL、编程语言(Python或类似语言)和/或ETL工具(Azure Data Factory、Data Bricks、Talend和SnowSQL)开发数据管道解决方案,以摄取和利用新的和现有的数据源。
进行代码审查,确保符合要求,具有最佳执行模式并符合已建立的标准。
技能:
10+年-企业数据管理
10+年-SQL Server大型数据集的开发
5+年数据仓库架构,具有Databricks平台的实际经验。具有丰富的PySpark编码经验。有Snowflake经验更好
3+年Python(numpy,pandas)编码经验
3+年金融/银行业经验,对证券和银行产品及其数据底稿有一定了解。
具有Snowflake工具(如SnowSQL和SnowPipe)的经验更好
数据仓库经验-OLTP,OLAP,维度,事实和数据建模。
以前领导企业级云数据平台迁移的经验,具有较强的架构和设计能力
能够独立讨论企业级服务,而不依赖于技术堆栈
具有云基础数据架构、消息传递和分析经验
出色的沟通能力
云认证
任何监管报告经验都是一个加分项
教育:
至少拥有工程和/或计算机科学学位
强烈建议拥有硕士学位
具有Pyspark和Python经验的Databricks工程师---美国