职位概要:
我们正在寻找一位积极主动且经验丰富的实施技术负责人,负责监督我们私有数据平台的端到端部署和运营。
理想的候选人需要具备数据工程平台架构的扎实背景,对全栈技术(如Java、Python)有深厚的技术知识,并将参与从构建API和Web应用程序到围绕数据平台的数据处理和自动化的各种项目,同时确保与业务和技术要求保持一致。该角色需要Java、Python编程及相关框架,以及强大的数据工程和解决问题的能力。
必备技能:
JAVA、Python、Fast API、Snowflake、Azure、实时和批处理数据处理、SQL、Apache Kafka、Spark
主要职责:
领导数据管道、存储解决方案和分析工具的设计、开发和部署
确保平台的可扩展性、可靠性和安全性,以满足当前和未来的需求
监督在Azure和Snowflake上实施数据湖、仓库和ELT或ETL管道
开发和审核代码,确保遵循开发最佳实践和标准
在团队内培养协作、创新和持续改进的文化
推动实时和批处理数据处理能力的集成
确保遵守数据治理政策、安全和监管要求
实施稳健的数据质量、数据沿袭和目录化流程
使用Django、Flask或Fast API等框架构建和集成API和后端系统
开发用于数据分析、转换和自动化的脚本和工具
编写单元测试、集成测试并进行调试以确保软件质量
与包括开发人员、产品经理、业务分析师和其他利益相关者在内的跨职能团队密切合作,以使数据平台与组织目标保持一致
将业务需求转化为可扩展的技术解决方案
资格:
在领导大规模数据平台的设计和开发方面有丰富经验
作为全栈开发人员或类似角色的丰富经验
精通数据平台技术Snowflake、Azure SQL Server
熟练使用数据工程工具和框架Apache Kafka、Spark
对云平台Azure和容器化Docker、Kubernetes有深刻理解
具备批处理和实时数据处理经验
精通SQL和编程语言JAVA、Python
具备强大的解决问题、沟通和领导能力
具有使用CICD管道进行代码部署的经验
熟练使用代码仓库GitHub
具备开发RESTful API的知识和经验
拥有Snowflake、Azure认证
在另类投资、私募股权、私募资本共同投资、债务、风险资本、对冲和实物资产领域有经验
与私募市场行业解决方案合作,如Investran、Alter Domus、I Capital、Subscribe、Backstop、Chronograph
对私募市场运营、投资生命周期和结构以及基金生命周期有深刻理解
拥有Azure、Snowflake的技术认证,CFA领域认证