数据架构师

无个税15个月前全职
Arada

Arada

location 迪拜
unsaved
数据架构师负责在Arada EDW和源系统的数据集成和转换过程中工作,以进行详细的数据分析和洞察。 主要职责: - 参与数据仓库开发的整个生命周期,包括收集和理解最终用户的分析和报告需求、架构解决方案、详细技术设计、实施解决方案以及与团队验证解决方案。 - 确定数据加载和数据刷新策略,确保实时数据洞察。 - 设计和实施具有复杂数据转换和数据格式的高度可扩展的ETL过程,包括错误处理和监控。 - 为EDW集成开发逻辑数据和物理模型。 - 维护和开发各种数据库脚本和工具,以促进自动化流程。 - 开发各种ETL过程并准备OLAP立方体。 - 审查所有源数据库系统并推荐性能改进措施。 - 实施和执行标准和程序,以确保数据在数据仓库中得到一致和正确的集成。 - 负责与数据集成相关的所有ETL过程和性能测试。 - 监控过程并制定计划以捕获和访问所有元数据。 - 通过实施调优和优化策略来维护和支持数据模型,以确保稳定性和性能。 - 解决EDW问题并定期监控/报告数据仓库的使用情况。 经验要求: - 8-10年与数据分析相关的工作经验。 - 至少3到5年的元数据管理、关系/维度建模和大数据解决方案经验,具备本机Azure数据平台工具的技能。 - 具备Azure Data Lake / ADF / MS SQL等技术经验。 - 具备Microsoft Azure生态系统的经验,包括但不限于Azure SQL和云数据解决方案(如HD Insight、Databricks、SQL DW、Data Factory、Azure Data Lake Storages)。 - 具备使用Microsoft Business Intelligence Stack(如Power BI、SSAS、SSRS、SSIS)的经验。 - 具备使用自助工具(优先使用Power BI等)的经验,连接数据源、导入数据和转换数据用于商业智能。 - 具备UML建模和OO建模的强大对象/关系映射经验。 - 具备开发代码、质量保证测试、管理数据湖/数据仓库的经验。 - 具备统计、因子、聚类等不同数据分析模型的经验。 资格要求: - 相关数据分析技术认证。 - Azure / Bigdata相关领域认证。 - 数据建模工具和数据仓库概念认证。 - 技术学位(BE / B Sc / MBA / MCA / MCM)。 技能要求: - 具备概念强大的技术能力和逻辑解决方案能力,追求平衡和最佳化。 - 熟悉SQL、安全标准、BI工具、ETL工具和Microsoft/Azure特定技术。 - 具备收集、测量、组织和分析数据的强大数学和分析能力。 - 熟悉SQL、R、MATLAB、Python等。 - 具备Hadoop、Impala、Pig、Hive、YARN等大数据技术经验。 - 具备数据库设计开发、数据模型、数据挖掘和分割技术的技术能力。 - 能够实施基于云的数据摄取(ETL vs ELT)解决方案。 - 在Azure Data Factory(ADF)中构建数据管道,为团队设计和开发BI解决方案。 - 熟练掌握统计学和统计软件包(如Excel、SPSS、SAS),用于数据集分析。 - 熟悉使用Hadoop和Apache Spark等数据处理平台。 - 熟悉Tableau、Qlik等数据可视化软件。 - 熟悉如何创建和应用最准确的算法来解决数据集的问题。 - 具备解决问题的能力、准确性和注重细节。 - 熟悉查询、撰写报告和进行演示的能力。