数据架构师负责在Arada EDW和源系统的数据集成和转换过程中工作,以进行详细的数据分析和洞察。
主要职责:
- 参与数据仓库开发的整个生命周期,包括收集和理解最终用户的分析和报告需求、架构解决方案、详细技术设计、实施解决方案以及与团队验证解决方案。
- 确定数据加载和数据刷新策略,确保实时数据洞察。
- 设计和实施具有复杂数据转换和数据格式的高度可扩展的ETL过程,包括错误处理和监控。
- 为EDW集成开发逻辑数据和物理模型。
- 维护和开发各种数据库脚本和工具,以促进自动化流程。
- 开发各种ETL过程并准备OLAP立方体。
- 审查所有源数据库系统并推荐性能改进措施。
- 实施和执行标准和程序,以确保数据在数据仓库中得到一致和正确的集成。
- 负责与数据集成相关的所有ETL过程和性能测试。
- 监控过程并制定计划以捕获和访问所有元数据。
- 通过实施调优和优化策略来维护和支持数据模型,以确保稳定性和性能。
- 解决EDW问题并定期监控/报告数据仓库的使用情况。
经验要求:
- 8-10年与数据分析相关的工作经验。
- 至少3到5年的元数据管理、关系/维度建模和大数据解决方案经验,具备本机Azure数据平台工具的技能。
- 具备Azure Data Lake / ADF / MS SQL等技术经验。
- 具备Microsoft Azure生态系统的经验,包括但不限于Azure SQL和云数据解决方案(如HD Insight、Databricks、SQL DW、Data Factory、Azure Data Lake Storages)。
- 具备使用Microsoft Business Intelligence Stack(如Power BI、SSAS、SSRS、SSIS)的经验。
- 具备使用自助工具(优先使用Power BI等)的经验,连接数据源、导入数据和转换数据用于商业智能。
- 具备UML建模和OO建模的强大对象/关系映射经验。
- 具备开发代码、质量保证测试、管理数据湖/数据仓库的经验。
- 具备统计、因子、聚类等不同数据分析模型的经验。
资格要求:
- 相关数据分析技术认证。
- Azure / Bigdata相关领域认证。
- 数据建模工具和数据仓库概念认证。
- 技术学位(BE / B Sc / MBA / MCA / MCM)。
技能要求:
- 具备概念强大的技术能力和逻辑解决方案能力,追求平衡和最佳化。
- 熟悉SQL、安全标准、BI工具、ETL工具和Microsoft/Azure特定技术。
- 具备收集、测量、组织和分析数据的强大数学和分析能力。
- 熟悉SQL、R、MATLAB、Python等。
- 具备Hadoop、Impala、Pig、Hive、YARN等大数据技术经验。
- 具备数据库设计开发、数据模型、数据挖掘和分割技术的技术能力。
- 能够实施基于云的数据摄取(ETL vs ELT)解决方案。
- 在Azure Data Factory(ADF)中构建数据管道,为团队设计和开发BI解决方案。
- 熟练掌握统计学和统计软件包(如Excel、SPSS、SAS),用于数据集分析。
- 熟悉使用Hadoop和Apache Spark等数据处理平台。
- 熟悉Tableau、Qlik等数据可视化软件。
- 熟悉如何创建和应用最准确的算法来解决数据集的问题。
- 具备解决问题的能力、准确性和注重细节。
- 熟悉查询、撰写报告和进行演示的能力。