高级 GCP 数据工程师

多伦多 3个月前全职 网络
46.8万 - 67.6万 / 年
主要职责 • 设计、开发和维护银行应用程序在 GCP 上的端到端数据管道。 • 使用 GCP 服务(Dataflow、Dataproc、Pub/Sub)构建实时和批处理数据处理解决方案。 • 使用 BigQuery 和 Cloud Storage 开发和优化数据仓库、数据湖和湖屋解决方案。 • 为分析和报告获取、清洗和转换结构化和非结构化银行数据。 • 利用 Cloud Composer / Apache Airflow 处理 ETL/ELT 管道。 • 确保数据安全、隐私,并遵守银行法规(AML、巴塞尔、GDPR、PCI-DSS)。 • 与业务分析师、架构师和数据科学家合作,促进数据驱动的决策。 • 实施实时数据流解决方案,用于支付、欺诈检测和交易监控。 • 执行数据建模、查询优化和性能调优。 • 提供生产支持并高效解决事件。 • 指导初级工程师并在 GCP 上执行数据工程最佳实践。 所需技能与资格 • 计算机科学、工程或相关领域的学士/硕士学位。 • 8–12 年 IT 经验,其中至少 4 年在 GCP 数据工程方面。 • 精通 BigQuery、Dataflow(Apache Beam)、Dataproc(Hadoop/Spark)、Pub/Sub、Cloud Storage、Cloud Composer。 • 精通 SQL、Python、PySpark 和数据建模技术。 • 具备 ETL/ELT 过程、数据管道和编排框架的经验。 • 了解银行/金融服务领域(核心银行、支付、风险、合规、AML/KYC)。 • 熟悉 DevOps、CI/CD 管道、Git 和容器化(Docker/Kubernetes)。 • 深刻理解数据治理、数据血缘和安全框架。 • 优秀的问题解决、调试和沟通能力。 工作类型:全职 薪资:每年 $90,000.00-$130,000.00