数据工程

芝加哥 15小时前全职 网络
面议
职位概要: 我们正在寻找一位积极主动且经验丰富的实施技术负责人,负责监督我们私有数据平台的端到端部署和运营。 理想的候选人需要具备数据工程平台架构的扎实背景,对全栈技术(如Java、Python)有深厚的技术知识,并将参与从构建API和Web应用程序到围绕数据平台的数据处理和自动化的各种项目,同时确保与业务和技术要求保持一致。该角色需要Java、Python编程及相关框架,以及强大的数据工程和解决问题的能力。 必备技能: JAVA、Python、Fast API、Snowflake、Azure、实时和批处理数据处理、SQL、Apache Kafka、Spark 主要职责: 领导数据管道、存储解决方案和分析工具的设计、开发和部署 确保平台的可扩展性、可靠性和安全性,以满足当前和未来的需求 监督在Azure和Snowflake上实施数据湖、仓库和ELT或ETL管道 开发和审核代码,确保遵循开发最佳实践和标准 在团队内培养协作、创新和持续改进的文化 推动实时和批处理数据处理能力的集成 确保遵守数据治理政策、安全和监管要求 实施稳健的数据质量、数据沿袭和目录化流程 使用Django、Flask或Fast API等框架构建和集成API和后端系统 开发用于数据分析、转换和自动化的脚本和工具 编写单元测试、集成测试并进行调试以确保软件质量 与包括开发人员、产品经理、业务分析师和其他利益相关者在内的跨职能团队密切合作,以使数据平台与组织目标保持一致 将业务需求转化为可扩展的技术解决方案 资格: 在领导大规模数据平台的设计和开发方面有丰富经验 作为全栈开发人员或类似角色的丰富经验 精通数据平台技术Snowflake、Azure SQL Server 熟练使用数据工程工具和框架Apache Kafka、Spark 对云平台Azure和容器化Docker、Kubernetes有深刻理解 具备批处理和实时数据处理经验 精通SQL和编程语言JAVA、Python 具备强大的解决问题、沟通和领导能力 具有使用CICD管道进行代码部署的经验 熟练使用代码仓库GitHub 具备开发RESTful API的知识和经验 拥有Snowflake、Azure认证 在另类投资、私募股权、私募资本共同投资、债务、风险资本、对冲和实物资产领域有经验 与私募市场行业解决方案合作,如Investran、Alter Domus、I Capital、Subscribe、Backstop、Chronograph 对私募市场运营、投资生命周期和结构以及基金生命周期有深刻理解 拥有Azure、Snowflake的技术认证,CFA领域认证