在这个职位上,您将支持新加坡保诚公司的数据工程团队,在云上建立数据湖和标准化云大数据基础设施的实施方面提供支持。
您将支持数据工程团队在数据平台相关的企业级战略计划的制定方面。
• 实施和支持现有的云基础设施和新的计划。与跨职能团队合作,获取数据并使其可供下游使用。
• 使用基础设施即代码进行基础设施供应(例如:Terraform)
• 为CI CD设置开发新的功能,与各方合作并与各利益相关者合作开发DevOps流程和工作流程。
• 确保依赖和挑战(风险)得到升级和管理。将关键问题升级给发起人和/或数据工程部门负责人。
• 确保执行和交付的计划中有适当和协调的沟通计划,包括内部和外部。
• 监督与数据平台相关的Azure云平台。
能力和个人特质
• 至少具有一家云基础设施提供商(Azure/AWS)的经验。
• 了解云基础设施服务和交付模型、存储概念、网络基础知识等方面的基础设施经验和知识。
• 了解大数据ETL处理工具。
• 基本脚本知识(shell / bash / PowerShell)
• 基本了解CI CD工具,如Jenkins、JIRA、Bitbucket、Artifactory、Terraform和Azure DevOps。
• 基本了解使用Git版本控制的DevOps实践
• 熟悉操作系统/软件设置和配置以及网络工作经验
• 审查和优化Azure的使用和成本。
• 在Linux和Windows系统管理方面具有高级技能。
• 有使用多个数据源(关系数据库(SQL Server / Oracle / DB2 / Netezza / PostgreSQL)、NoSQL / 文档数据库、平面文件)的经验。
• 对Azure Data factory、Databricks、Storage、Synapse、AAD、DR有了解将是一个额外的优势
专业资格
• 与Azure管理员相关的认证将是一个额外的优势
教育背景
• STEM(科学、技术、工程、数学)的硕士/学士学位