高级数据工程师(CI/CD)- 金融(监管)
纽约,纽约(需要第一天到现场,混合办公,每周三天在办公室)。
职位类型:W2合同
职位描述:
我们正在寻找一位熟练的数据工程师,具备Databricks、Snowflake、Python、Pyspark、SQL和发布管理方面的专业知识,加入我们充满活力的团队。理想的候选人应具有银行领域的丰富背景,并负责设计、开发和维护稳健的数据管道和系统,以支持我们的银行运营和分析。
职责:
使用Snowflake、Pyspark和SQL设计、开发和维护可扩展且高效的数据管道。
编写优化和复杂的SQL查询以提取、转换和加载数据。
开发和实施支持银行领域需求的数据模型、架构和体系结构。
与数据分析师、数据科学家和业务利益相关者合作以收集数据需求。
自动化数据工作流,确保数据质量、准确性和完整性。
管理和协调数据管道和分析解决方案的发布流程。
监控、排除故障并优化数据系统的性能。
确保符合银行领域的数据治理、安全和隐私标准。
维护数据架构、管道和流程的文档。
保持对最新行业趋势的更新,并采用最佳实践。
要求:
具有数据工程师或类似角色的经验,专注于Snowflake、Python、Pyspark和SQL。
对数据仓库概念和云数据平台(尤其是Snowflake)有深入理解。
具有发布管理、部署和版本控制实践的实际经验。
对银行和金融服务行业的数据和合规要求有扎实的理解。
熟练掌握Python脚本和Pyspark进行数据处理和自动化。
具有ETL/ELT流程和工具的经验。
了解数据治理、安全和隐私标准。
优秀的问题解决和分析能力。
较强的沟通和协作能力。
精通CI/CD实践和实施。
具有强大的金融背景经验,具备监管知识和合规要求。
优先资格:
对Azure和Databricks有良好的了解者优先。
了解Apache Kafka或其他流技术。
熟悉DevOps实践和CI/CD管道。
有银行或金融服务行业工作经验者优先。