Azure 数据工程师

无个税16个月前全职
ParamInfo

ParamInfo

location 迪拜
unsaved
经验:8-10 发布日期:2023年12月26日 地点:阿联酋 职位:Azure数据工程师 工作地点:迪拜 职责: - 使用Azure平台上的Azure数据工厂、Azure数据湖、Azure数据湖、Azure Synapse Analytics、Azure SQL、Power shell、Azure逻辑应用、Azure自动化、Blob存储和T-SQL设计或处理Azure平台上的解决方案。 - 在Azure环境中至少完成过1个全新的数据湖、Delta Lake或数据仓库项目。 - 设计、构建和维护Azure数据分析解决方案。 - 熟悉Azure DevOps平台上的CI/CD。 - 独立分析、设计、实施和测试中等复杂的数据映射。 - 在业务需求下转换大型数据集的丰富经验。 - 能够使用Python或其他脚本语言编写脚本。 - 理解自助式BI/分析、用户安全性、移动性和其他BI。 - 参与与最终用户的设计/发现会议和研讨会。 - 灵活处理临时查询的方法。 - 具有高级的SQL知识和与关系数据库的工作经验,能够编写查询(SQL),并熟悉各种数据库。 - 精通结构化和半结构化数据处理。 教育和经验: - 计算机科学、计算机工程或等同工作经验的学士学位 - 通常需要超过8年的数据工程实际经验,最好是在Azure平台上。 - 有Azure数据湖、数据工厂、数据湖和逻辑应用的经验。 - 强大的SQL技能 - 使用大数据批处理和流处理工具的经验。 - 在大规模数据工程平台中管理代码库的经验。 - 对业务流程、设计解决方案和交付有深入理解。 - 开发批处理/实时分析解决方案,利用转型技术。 - 创建和维护最佳数据管道架构。 - 创建使用业务分析和数据平台的数据工程策略。 - 编写、测试和文档化新的或修改过的数据系统,为数据分析创建稳健且可扩展的数据平台。 - 创建和维护数据目录,将数据结果解释给业务利益相关者,并为集成计划制定标准和流程。 - 设计键和索引方案,设计分区,构建和实施操作数据存储和数据集市。 所需技能: 技能 年 月 Azure数据工厂 8 0 Azure数据湖 8 0 Azure数据湖 8 0 Azure Synapse 8 0 Power shell 8 0 Azure逻辑应用 8 0 Python 8 0 T-SQL 8 0 CI/CD 8 0 SQL 8 0 Azure DevOps 8 0 Azure自动化 8 0