职位名称：数据工程专家
作为一名经验丰富的数据工程专业人士，您将负责设计和开发大规模数据处理系统。您需要在该领域拥有至少 5 年的经验，利用您在 Spark/Pyspark、Databricks、Azure 数据工厂和 Python 方面的专业知识，通过数据驱动的洞察来推动业务增长。
主要职责：
• 使用 Spark/Pyspark 和 Databricks 设计和开发复杂的数据管道
• 使用 Azure 数据工厂和 ADLS 开发和维护 ETL 过程及数据仓库解决方案
• 与跨职能团队合作，识别业务需求并实施数据驱动的解决方案
技术技能 - SQL、Spark/Pyspark、Databricks、Python/Scala、SparkSQL
• 在 Databricks 和数据处理框架方面具有证明的专业知识
• 对数据仓库、ETL 过程和数据管道设计有深入理解
• 具备 SQL、Python 和 Spark 的经验
• 优秀的问题解决和分析能力
• 有效的沟通和团队合作能力
• 具备 Azure SQL 数据库、Azure 数据工厂、ADLS 的经验和知识 
纽约