资深数据工程师(CI/CD)- 金融(监管)

纽约 1天前全职 网络
面议
高级数据工程师(CI/CD)- 金融(监管) 纽约,纽约(需要第一天到现场,混合办公,每周三天在办公室)。 职位类型:W2合同 职位描述: 我们正在寻找一位熟练的数据工程师,具备Databricks、Snowflake、Python、Pyspark、SQL和发布管理方面的专业知识,加入我们充满活力的团队。理想的候选人应具有银行领域的丰富背景,并负责设计、开发和维护稳健的数据管道和系统,以支持我们的银行运营和分析。 职责: 使用Snowflake、Pyspark和SQL设计、开发和维护可扩展且高效的数据管道。 编写优化和复杂的SQL查询以提取、转换和加载数据。 开发和实施支持银行领域需求的数据模型、架构和体系结构。 与数据分析师、数据科学家和业务利益相关者合作以收集数据需求。 自动化数据工作流,确保数据质量、准确性和完整性。 管理和协调数据管道和分析解决方案的发布流程。 监控、排除故障并优化数据系统的性能。 确保符合银行领域的数据治理、安全和隐私标准。 维护数据架构、管道和流程的文档。 保持对最新行业趋势的更新,并采用最佳实践。 要求: 具有数据工程师或类似角色的经验,专注于Snowflake、Python、Pyspark和SQL。 对数据仓库概念和云数据平台(尤其是Snowflake)有深入理解。 具有发布管理、部署和版本控制实践的实际经验。 对银行和金融服务行业的数据和合规要求有扎实的理解。 熟练掌握Python脚本和Pyspark进行数据处理和自动化。 具有ETL/ELT流程和工具的经验。 了解数据治理、安全和隐私标准。 优秀的问题解决和分析能力。 较强的沟通和协作能力。 精通CI/CD实践和实施。 具有强大的金融背景经验,具备监管知识和合规要求。 优先资格: 对Azure和Databricks有良好的了解者优先。 了解Apache Kafka或其他流技术。 熟悉DevOps实践和CI/CD管道。 有银行或金融服务行业工作经验者优先。