关键能力
• 定义可重用的设计模式,例如数据移动(入/出站)过程,数据验证,数据加载和提取过程等。
• 创建可重用的连接到不同的目标(数据库/ Hadoop等)。
• 为连接、模式和上下文设置元数据存储库,以供跨作业使用。
• 定义/开发基础组件-错误/审计框架,源采集ETL框架等。
• 评估并推荐开发方法论、框架和建模技术。
• 在准备设计文档和集成实施方面为开发团队提供技术领导。
• 参与设计/代码审查,并确保所有解决方案符合预定义的架构规范。
• 通过解决方案加速器和价值创造者优化开发。
经验
• 对IT解决方案和宏观和微观层面的数据架构有较强的亲和力
• 在(大)数据解决方案中具有概念上的卓越表现,包括数据建模(结构化/非结构化数据)
• 在推动和交付变革方面具有丰富经验
除了数据管理和建模之外,架构师还需要熟悉或具有其他分析领域的先前经验,例如仪表板。
• 在大数据平台(GCC或AWS或Azure等)上进行设计和开发的实际经验
• 在大数据上的编程经验(Python、PySpark、Spark Scala等)
• 在云服务方面的实际经验(Kinesis、Kafka、Lambda、Databricks等)
• 在存储方面的实际经验,包括模式布局、数据建模、分区、关系型数据库(Hive、HBase、MongoDB、Mysql、Sql、Cassandra、S3、Dynamo DB、Redshift等)
• 在了解客户业务并提供云中的解决方案架构方面具有专业知识,涵盖数据摄取、存储和可视化