我们的客户正在寻找一位具有CI/CD经验的高级数据工程师(金融监管)加入我们位于纽约的团队(需要第一天到现场,混合办公,每周三天在办公室)。
职位描述:
我们正在寻找一位熟练的数据工程师,具备Databricks、Snowflake、Python、Pyspark、SQL和发布管理方面的专业知识,以加入我们充满活力的团队。理想的候选人应具有银行领域的丰富背景,并负责设计、开发和维护稳健的数据管道和系统,以支持我们的银行业务和分析。
职责:
- 使用Snowflake、Pyspark和SQL设计、开发和维护可扩展且高效的数据管道。
- 编写优化和复杂的SQL查询以提取、转换和加载数据。
- 开发和实施支持银行领域需求的数据模型、架构和体系结构。
- 与数据分析师、数据科学家和业务利益相关者合作以收集数据需求。
- 自动化数据工作流并确保数据质量、准确性和完整性。
- 管理和协调数据管道和分析解决方案的发布流程。
- 监控、排除故障并优化数据系统的性能。
- 确保遵守银行领域的数据治理、安全和隐私标准。
- 维护数据架构、管道和流程的文档。
- 及时了解最新的行业趋势并结合最佳实践。
要求:
- 具有作为数据工程师或类似角色的经验,重点在Snowflake、Python、Pyspark和SQL。
- 对数据仓库概念和云数据平台(尤其是Snowflake)有深入理解。
- 拥有发布管理、部署和版本控制实践的实际经验。
- 对银行和金融服务行业的数据和合规要求有扎实理解。
- 精通Python脚本和Pyspark进行数据处理和自动化。
- 具有ETL/ELT流程和工具的经验。
- 了解数据治理、安全和隐私标准。
- 优秀的问题解决和分析能力。
- 较强的沟通和协作能力。
- 精通CI/CD实践和实施。
- 具有强大的金融背景经验以及监管知识和合规要求。
优先资格:
- 对Azure和Databricks有良好的了解者优先。
- 了解Apache Kafka或其他流技术。
- 熟悉DevOps实践和CI/CD管道。
- 具有银行或金融服务行业工作经验者优先。
关于公司:
Interon IT Solutions