必备技能
必须具备强大的Python开发经验,在云平台上构建数据管道(ETL/ELT)至少需要5年的实际经验
具备分布式数据处理的工作知识(Beam、Spark、MapReduce)
强烈推荐具备GCP知识(需要具备云平台经验,不一定是GCP)
至少需要5年的实际经验来构建和操作数据处理系统
至少需要2年的数据平台工作经验(数据仓库、数据湖、ODS)
至少需要2年的使用工具自动化CI/CD流水线的经验(例如Jenkins、GIT、Control-M)
供您参考,我们团队使用以下技术栈
Python
Cloud Data flow/Data proc(Apache Beam)
Cloud pub-sub
Cloud function
Whistle map SDK
Google Healthcare API/ FHIR store
Cloud composer
具备云和数据经验的Python开发人员