数据架构师负责
在Arada EDW和源系统上工作,进行数据集成和转换过程,以进行详细的数据分析和洞察。
主要职责:
- 参与Arada企业数据仓库的扩展活动和运营。
- 参与数据仓库开发的整个生命周期,包括收集和理解最终用户的分析和报告需求,设计解决方案,详细设计技术方案,实施解决方案,并与团队验证解决方案。
- 确定数据加载和数据刷新策略,确保实时数据洞察。
- 设计和实现具有复杂数据转换和数据格式的高度可扩展的ETL过程,包括错误处理和监控。
- 为EDW集成开发逻辑数据和物理模型。
- 维护和开发各种数据库脚本和工具,以促进自动化流程。
- 开发各种ETL过程并准备OLAP立方体。
- 审查所有源数据库系统并推荐性能改进。
- 实施和执行标准和流程,以确保数据得到一致和正确地集成到数据仓库中。
- 负责与数据集成相关的所有ETL过程和性能测试。
- 监控过程并制定计划以捕获和访问所有元数据。
- 通过实施调优和优化策略来维护和支持数据模型,以实现稳定性和性能。
- 解决EDW问题并定期监控/报告数据仓库的使用情况。
经验要求:
- 8-10年从事与数据分析相关的工作经验。
- 至少3到5年从事涉及元数据管理、关系/维度建模和大数据解决方案方法的工作。
- 有Azure Data Lake / ADF / MS SQL等技术经验。
- 了解Microsoft Azure生态系统,包括但不限于Azure SQL和云数据解决方案,如HD Insight、Databricks、SQL DW、Data Factory、Azure Data Lake Storages。
- 有Microsoft Business Intelligence Stack(如Power BI、SSAS、SSRS、SSIS)的经验。
- 有使用自助工具(最好是Power BI等)的经验。
- 具备连接数据源、导入数据和为商业智能转换数据的能力。
- 具备UML建模和OO建模的强大对象/关系映射经验。
- 有开发代码、质量保证测试、管理数据湖/数据仓库的经验。
- 有统计、因子、聚类等不同数据分析模型的经验。
资格要求:
- 与数据分析技术相关的认证。
- 优先考虑Azure / Bigdata相关领域的认证。
- 数据建模工具和数据仓库概念的认证。
- 技术学位(BE / B Sc / MBA / MCA / MCM)。
技能要求:
- 具备概念性强、技术实力强的能力,能够平衡考虑逻辑解决方案。
- 扎实的SQL、安全标准、BI工具、ETL工具和Microsoft / Azure特定技术知识。
- 具备收集、测量、组织和分析数据的强大数学和分析能力。
- 熟悉SQL、R、MATLAB、Python等。
- 了解Hadoop、Impala、Pig、Hive、YARN等大数据技术。
- 对数据库设计开发、数据模型、数据挖掘技术和分割技术有技术熟练程度。
- 能够实施基于云的数据摄取(ETL vs ELT)解决方案。
- 在Azure Data Factory(ADF)中构建数据管道,为团队设计和开发BI解决方案。
- 熟练掌握统计学和统计软件,如Excel、SPSS、SAS,用于数据集分析。
- 熟悉使用Hadoop和Apache Spark等数据处理平台。
- 熟悉Tableau、Qlik等数据可视化软件。
- 熟悉如何为数据集创建和应用最准确的算法以找到解决方案。
- 解决问题的能力,准确性和注重细节。
- 熟悉查询、撰写报告和做演示的能力。