Databricks工程师,具有Pyspark和Python经验---美国

16个月前全职
Dice

Dice

location 纽约
unsaved
Dice是技术专家在职业生涯的每个阶段的首选职业目的地。我们的客户Zortech Solutions正在寻找以下职位。立即通过Dice申请! 职位:具有Pyspark和Python经验的Databricks工程师 地点:纽约市,纽约州或伊塞林,新泽西州(混合办公室工作3天) 持续时间:6个月以上 职位描述: 必须进行面试,如果不在当地,将支付面试费用 职位描述: 这个职位是一个云数据/报告工程师,需要具备SQL和数据仓库的背景,以应对企业级系统的需求。这个职位需要与业务用户一起工作,并具备业务分析师的专业知识。 主要职责: 设计、开发和部署Databricks作业以处理和分析大量数据。 与数据工程师和数据科学家合作,了解数据需求并实施适当的数据处理流程。 优化Databricks作业的性能和可扩展性,以处理大数据工作负载。 监控和排除Databricks作业中的问题,识别和解决问题或瓶颈。 在Databricks环境中实施最佳数据管理、安全性和治理实践。具备设计和开发企业数据仓库解决方案的经验。 展示数据分析、数据洞察的熟练程度 熟练编写SQL查询和编程,包括存储过程和逆向工程现有流程 利用SQL、编程语言(Python或类似语言)和/或ETL工具(Azure Data Factory、Data Bricks、Talend和SnowSQL)开发数据管道解决方案,以摄取和利用新的和现有的数据源。 进行代码审查,确保符合要求,具有最佳执行模式并符合已建立的标准。 技能: 10+年-企业数据管理 10+年-SQL Server大型数据集的开发 5+年数据仓库架构,具有Databricks平台的实际经验。具有丰富的PySpark编码经验。有Snowflake经验更好 3+年Python(numpy,pandas)编码经验 3+年金融/银行业经验,对证券和银行产品及其数据底稿有一定了解。 具有Snowflake工具(如SnowSQL和SnowPipe)的经验更好 数据仓库经验-OLTP,OLAP,维度,事实和数据建模。 以前领导企业级云数据平台迁移的经验,具有较强的架构和设计能力 能够独立讨论企业级服务,而不依赖于技术堆栈 具有云基础数据架构、消息传递和分析经验 出色的沟通能力 云认证 任何监管报告经验都是一个加分项 教育: 至少拥有工程和/或计算机科学学位 强烈建议拥有硕士学位 具有Pyspark和Python经验的Databricks工程师---美国