经验:8-10
发布日期:2023年12月26日
地点:阿联酋
职位:Azure数据工程师
工作地点:迪拜
职责:
- 使用Azure平台上的Azure数据工厂、Azure数据湖、Azure数据湖、Azure Synapse Analytics、Azure SQL、Power shell、Azure逻辑应用、Azure自动化、Blob存储和T-SQL设计或处理Azure平台上的解决方案。
- 在Azure环境中至少完成过1个全新的数据湖、Delta Lake或数据仓库项目。
- 设计、构建和维护Azure数据分析解决方案。
- 熟悉Azure DevOps平台上的CI/CD。
- 独立分析、设计、实施和测试中等复杂的数据映射。
- 在业务需求下转换大型数据集的丰富经验。
- 能够使用Python或其他脚本语言编写脚本。
- 理解自助式BI/分析、用户安全性、移动性和其他BI。
- 参与与最终用户的设计/发现会议和研讨会。
- 灵活处理临时查询的方法。
- 具有高级的SQL知识和与关系数据库的工作经验,能够编写查询(SQL),并熟悉各种数据库。
- 精通结构化和半结构化数据处理。
教育和经验:
- 计算机科学、计算机工程或等同工作经验的学士学位
- 通常需要超过8年的数据工程实际经验,最好是在Azure平台上。
- 有Azure数据湖、数据工厂、数据湖和逻辑应用的经验。
- 强大的SQL技能
- 使用大数据批处理和流处理工具的经验。
- 在大规模数据工程平台中管理代码库的经验。
- 对业务流程、设计解决方案和交付有深入理解。
- 开发批处理/实时分析解决方案,利用转型技术。
- 创建和维护最佳数据管道架构。
- 创建使用业务分析和数据平台的数据工程策略。
- 编写、测试和文档化新的或修改过的数据系统,为数据分析创建稳健且可扩展的数据平台。
- 创建和维护数据目录,将数据结果解释给业务利益相关者,并为集成计划制定标准和流程。
- 设计键和索引方案,设计分区,构建和实施操作数据存储和数据集市。
所需技能:
技能 年 月
Azure数据工厂 8 0
Azure数据湖 8 0
Azure数据湖 8 0
Azure Synapse 8 0
Power shell 8 0
Azure逻辑应用 8 0
Python 8 0
T-SQL 8 0
CI/CD 8 0
SQL 8 0
Azure DevOps 8 0
Azure自动化 8 0