职位概述：
高级数据工程师在企业数据仓库的设计、映射、文档编制和开发中起着至关重要的作用。这包括监督数据的整个生命周期，包括创建和管理端到端的数据提取、转换和加载功能的工作机制。此外，该职位应具备分析业务需求并能够巧妙地将其转化为ETL作业功能的能力，利用行业最佳实践。
职位职责：
作为一名高级数据工程师，您的主要职责将包括：
• 开发数据架构和关系数据模型，设计数据库存储库，捕获数据需求，并准备数据字典。
• 使用Apache Spark、Python和相关技术开发和维护可扩展的数据管道，以高效处理大量结构化和非结构化数据。
• 设计、实施和优化ETL流程，将数据从各种来源提取、转换和加载到我们的数据湖或数据仓库中。
• 与数据科学家、分析师和软件工程师等跨职能团队合作，了解数据需求并提供强大的数据解决方案。
• 通过识别和解决数据处理管道中的瓶颈，调整Spark作业并优化性能。
• 实施数据质量检查，并确保数据在整个数据生命周期中的完整性。
• 通过调整连接池以适应不同应用需求，优化数据库吞吐量。
• 参与敏捷软件开发的所有方面，包括设计、实施和部署。
• 从各种源系统中开发数据模型和数据集市，使用数据流设计创建和维护ETL脚本。
• 识别和利用对象和代码，以减少开发工作量并执行一致的业务规则。
• 在公司内部识别分析和报告解决方案的机会。
• 参与数据建模、BI和DW工具的评估和选择。
• 将业务需求转化为技术数据模型和数据集市，理解关键业务驱动因素。
• 根据公司标准清楚地记录所有开发活动，有效地向项目负责人沟通任务状态、进展和问题。
资格要求：
• 成功完成计算机科学、软件工程、信息技术、商业信息技术或相关领域的学士学位
• 在以下工具和技术的数据分析领域拥有3-5年的经验：
• 出色的分析和解决问题的能力
• 优秀的沟通和人际交往能力
工具和技术
• 熟练掌握SQL和SQL SERVER，包括在编写存储过程和视图方面的高级能力。
• 精通Apache Spark和Python，用于开发可扩展的数据处理管道。
• 熟悉Azure Synapse Analytics的数据仓库解决方案。
• 在云实现方面具有经验，优先选择Microsoft Azure，并展示在利用云技术方面的实际专业知识。
• 有与NoSQL数据库一起工作的实际经验，突出显示对其结构和功能的全面理解。 
Dubai