职位：Databricks 工程师（具有 Pyspark 和 Python 经验）
地点：纽约市，纽约州 或 新泽西州伊塞林（混合办公 - 每周 3 天在办公室工作）
职位描述：
必须进行面对面面试，若不在当地，费用将由公司承担。
此职位适用于具有 SQL 和企业级系统数据仓库背景的云数据/报告工程师。该职位要求能够与业务用户合作，并具备业务分析师的专业知识。
主要职责：
设计、开发和部署 Databricks 作业，以处理和分析大量数据。
与数据工程师和数据科学家协作，了解数据需求并实施适当的数据处理管道。
优化 Databricks 作业的性能和可扩展性，以处理大数据工作负载。
监控和排查 Databricks 作业，识别并解决问题或瓶颈。
在 Databricks 环境中实施数据管理、安全性和治理的最佳实践。具有设计和开发企业数据仓库解决方案的经验。
展示数据分析和数据洞察的熟练程度。
熟练编写 SQL 查询和编程，包括存储过程和逆向工程现有流程。
利用 SQL、编程语言（Python 或类似）和/或 ETL 工具（Azure Data Factory、Data Bricks、Talend 和 SnowSQL）开发数据管道解决方案，以获取和利用新的和现有的数据源。
执行代码审查，以确保符合要求、最佳执行模式和遵循既定标准。
技能：
• 10 年以上 - 企业数据管理
• 10 年以上 - 基于 SQL Server 的大型数据集开发
• 5 年以上 - 数据仓库架构，具有 Databricks 平台的实际经验。拥有丰富的 PySpark 编码经验。Snowflake 经验为佳。
• 3 年以上 Python（numpy，pandas）编码经验
• 3 年以上金融/银行行业经验 - 对证券和银行产品及其数据足迹有一定了解。
• 具有 Snowflake 工具（如 SnowSQL 和 SnowPipe）经验者优先。
• 具有数据仓库经验 - OLTP、OLAP、维度、事实和数据建模。
• 之前有领导企业级云数据平台迁移的经验，具备较强的架构和设计技能。
• 能够独立讨论与技术栈无关的企业级服务。
• 具有基于云的数据架构、消息传递和分析的经验。
• 优秀的沟通能力。
• 云认证。
• 任何与监管报告相关的经验都是加分项。
教育：
• 至少具有工程和/或计算机科学学科的学士学位。
• 硕士学位优先考虑。 
