职位名称：Azure数据工程师
地点：阿布扎比
摘要：我们正在寻找一名具有ETL/ELT、PySpark、Databricks、Azure生态系统方面深入专业知识的数据工程师，并具有Oracle ERP、ERP Fusion和Salesforce等企业系统的经验。成功的候选人将在设计和实施复杂的数据管道、处理结构化和非结构化数据集以及优化我们基于Azure的数据系统方面发挥关键作用。成功的候选人必须在数据仓库概念和数据库设计方面有坚实的基础。此外，该人将与其他数据工程师和数据科学团队密切合作，支持他们的分析需求，并提高我们数据产品的性能。
主要职责：
• 设计、构建、安装、测试和维护高可扩展性和稳健性的数据管理系统。
• 理解并应用数据仓库概念，根据业务需求设计和实施稳健的数据仓库表。
• 为大规模数据迁移和转换构建复杂的ETL/ELT流程，涉及平台和企业系统，如：Oracle ERP、ERP Fusion和Salesforce。
• 具备从多个来源（如API、Json、数据库等）提取数据的能力和专业知识。
• 在Azure生态系统中利用PySpark和Databricks操纵大型数据集，改善性能，并增强数据操作的可扩展性。
• 开发和实施与多个项目一致的基于Azure的数据架构，遵循最佳实践和标准。
• 领导Azure数据存储和处理环境中的数据完整性和规范化倡议。
• 评估和优化基于Azure的数据库系统的性能效率、可重用性、可靠性和可扩展性。
• 在Azure中解决复杂的与数据相关的问题，并向团队提供专业指导和支持。
• 确保所有数据流程符合治理、数据安全和隐私规定。
所需资格：
• 计算机科学、信息技术、工程或相关领域的学士学位。
• 在数据工程师角色中拥有8年以上经验，其中至少3年担任Azure数据工程师。
• 熟练掌握Python、SQL，并对PySpark有深入理解。
• 熟练使用Databricks或类似的大数据解决方案。
• 对ETL/ELT框架、数据结构和软件架构有深入了解。
• 在设计和部署高性能数据处理系统方面具有丰富经验。
• 具有Azure云数据平台的广泛经验，包括Azure数据工厂、Azure SQL数据仓库、Azure Databricks。
• 能够根据业务需求设计和实施数据模式、数据模型和数据库设计。
首选资格：
• Databricks认证或等效的大数据技术认证。
• 出色的分析和解决问题的能力。
• 卓越的沟通技巧。 
阿布扎比