技术架构师 - 大数据

15个月前全职
VUI SYSTEMS PTE. LTD.

VUI SYSTEMS PTE. LTD.

location 新加坡
unsaved
关键能力 • 定义可重用的设计模式,例如数据移动(入/出站)过程,数据验证,数据加载和提取过程等。 • 创建可重用的连接到不同的目标(数据库/ Hadoop等)。 • 为连接、模式和上下文设置元数据存储库,以供跨作业使用。 • 定义/开发基础组件-错误/审计框架,源采集ETL框架等。 • 评估并推荐开发方法论、框架和建模技术。 • 在准备设计文档和集成实施方面为开发团队提供技术领导。 • 参与设计/代码审查,并确保所有解决方案符合预定义的架构规范。 • 通过解决方案加速器和价值创造者优化开发。 经验 • 对IT解决方案和宏观和微观层面的数据架构有较强的亲和力 • 在(大)数据解决方案中具有概念上的卓越表现,包括数据建模(结构化/非结构化数据) • 在推动和交付变革方面具有丰富经验 除了数据管理和建模之外,架构师还需要熟悉或具有其他分析领域的先前经验,例如仪表板。 • 在大数据平台(GCC或AWS或Azure等)上进行设计和开发的实际经验 • 在大数据上的编程经验(Python、PySpark、Spark Scala等) • 在云服务方面的实际经验(Kinesis、Kafka、Lambda、Databricks等) • 在存储方面的实际经验,包括模式布局、数据建模、分区、关系型数据库(Hive、HBase、MongoDB、Mysql、Sql、Cassandra、S3、Dynamo DB、Redshift等) • 在了解客户业务并提供云中的解决方案架构方面具有专业知识,涵盖数据摄取、存储和可视化