高级 ETL 数据工程师:W2 职位

纽约 4个月前合同 网络
430 - 502 / 时
职位:高级 ETL 数据工程师 地点:纽约市:混合办公 美国公民/绿卡持有者可以申请 关于该职位 您将负责构建和运营可扩展、可靠的数据基础设施,以支持运营和分析工作负载。这包括管理 ETL 管道、优化存储和访问模式,并支持分析师、数据科学家和应用开发人员使用的结构化数据建模。 职责 • 设计、构建和维护强大的数据基础设施,以支持分析、报告和可持续性工作流 • 负责关系型和云原生数据库(例如 PostgreSQL、Snowflake、Redshift、MySQL)的架构和管理 • 构建和管理 ETL/ELT 管道,以跨系统和第三方源摄取和转换数据 • 优化数据库模式、索引、分区策略和存储,以提高查询性能和成本效率 • 通过提供干净、文档齐全、可查询的数据集来启用和支持分析平台,以便下游使用(BI、仪表板、AI/ML) • 实施和监控数据质量、治理和访问控制政策 • 与数据分析师、ESG 专家和应用开发人员合作,以简化数据访问和分析准备 • 使用基础设施即代码、容器化和云原生编排工具来自动化和扩展平台操作 • 建立和管理数据可观测性、管道监控和警报,以确保可靠性和完整性 • 支持 ESG 数据集成,用于内部和外部可持续性披露、投资分析和合规报告 资格 • 8 年以上(或 5 年以上具有卓越专业知识)数据工程、数据平台基础设施或以分析为重点的工程经验 • 精通 SQL 和数据库优化技术 • 具有数据仓库系统(例如 Snowflake、Redshift、BigQuery)和 OLAP/OLTP 混合设计的经验 • 熟练使用 Python 或类似语言进行脚本编写、转换和数据操作 • 熟悉数据管道框架(例如 Airflow、dbt、Luigi)和编排实践 • 具备云平台(例如 AWS、Azure)和云原生数据服务的实际经验 • 有为分析、BI 或机器学习用例构建数据平台的经验 • 了解 CI/CD、Git 和应用于数据工作流的敏捷方法论 • 对数据安全、访问控制和合规性有扎实的理解 优先技能 • 有处理 ESG/可持续性数据集或监管数据(例如 MSCI、CDP、SFDR)的经验 • 了解投资数据模型、投资组合风险数据或金融工具结构 • 接触过数据版本控制、列式格式(Parquet、ORC)或数据湖架构 • 熟悉基础设施即代码工具(例如 Terraform、CloudFormation)和容器化(例如 Docker、Kubernetes) • 有数据可观测性、监控管道和警报框架的经验 提供灵活的居家办公选项。