高级数据工程师(具备持续集成/持续交付经验)

纽约 1天前全职 网络
面议
Dice是技术专家在其职业生涯各个阶段的首选职业目的地。我们的客户,Interon IT Solutions LLC,正在寻找以下职位。今天通过Dice申请! 我们的客户正在寻找一位具有CI/CD - 金融(监管)经验的高级数据工程师加入我们位于纽约的团队(需要第一天到现场,混合办公,每周三天在办公室)。 职位描述: 我们正在寻找一位熟练的数据工程师,具备Databricks、Snowflake、Python、Pyspark、SQL和发布管理方面的专业知识,以加入我们充满活力的团队。理想的候选人应具有银行领域的强大背景,并负责设计、开发和维护强大的数据管道和系统,以支持我们的银行运营和分析。 职责: - 使用Snowflake、Pyspark和SQL设计、开发和维护可扩展且高效的数据管道。 - 编写优化和复杂的SQL查询以提取、转换和加载数据。 - 开发和实施支持银行领域需求的数据模型、架构和体系结构。 - 与数据分析师、数据科学家和业务利益相关者合作,收集数据需求。 - 自动化数据工作流,确保数据质量、准确性和完整性。 - 管理和协调数据管道和分析解决方案的发布流程。 - 监控、排除故障并优化数据系统的性能。 - 确保符合银行领域的数据治理、安全和隐私标准。 - 维护数据架构、管道和流程的文档。 - 及时了解最新的行业趋势并结合最佳实践。 要求: - 具有数据工程师或类似角色的经验,重点关注Snowflake、Python、Pyspark和SQL。 - 对数据仓库概念和云数据平台(尤其是Snowflake)有深入理解。 - 具有发布管理、部署和版本控制实践的实际经验。 - 对银行和金融服务行业的数据和合规要求有扎实理解。 - 精通Python脚本和Pyspark用于数据处理和自动化。 - 具有ETL/ELT流程和工具的经验。 - 了解数据治理、安全和隐私标准。 - 出色的问题解决和分析能力。 - 强大的沟通和协作能力。 - 在CI/CD实践和实施方面的专业知识。 - 具有强大的金融背景经验和监管知识及合规要求。 优先资格: - 优先具备Azure和Databricks的良好知识。 - 了解Apache Kafka或其他流技术。 - 熟悉DevOps实践和CI/CD管道。 - 具有银行或金融服务行业工作经验者优先。