主要职责
• 设计、开发和维护银行应用程序在 GCP 上的端到端数据管道。
• 使用 GCP 服务(Dataflow、Dataproc、Pub/Sub)构建实时和批处理数据处理解决方案。
• 使用 BigQuery 和 Cloud Storage 开发和优化数据仓库、数据湖和湖屋解决方案。
• 为分析和报告获取、清洗和转换结构化和非结构化银行数据。
• 利用 Cloud Composer / Apache Airflow 处理 ETL/ELT 管道。
• 确保数据安全、隐私,并遵守银行法规(AML、巴塞尔、GDPR、PCI-DSS)。
• 与业务分析师、架构师和数据科学家合作,促进数据驱动的决策。
• 实施实时数据流解决方案,用于支付、欺诈检测和交易监控。
• 执行数据建模、查询优化和性能调优。
• 提供生产支持并高效解决事件。
• 指导初级工程师并在 GCP 上执行数据工程最佳实践。
所需技能与资格
• 计算机科学、工程或相关领域的学士/硕士学位。
• 8–12 年 IT 经验,其中至少 4 年在 GCP 数据工程方面。
• 精通 BigQuery、Dataflow(Apache Beam)、Dataproc(Hadoop/Spark)、Pub/Sub、Cloud Storage、Cloud Composer。
• 精通 SQL、Python、PySpark 和数据建模技术。
• 具备 ETL/ELT 过程、数据管道和编排框架的经验。
• 了解银行/金融服务领域(核心银行、支付、风险、合规、AML/KYC)。
• 熟悉 DevOps、CI/CD 管道、Git 和容器化(Docker/Kubernetes)。
• 深刻理解数据治理、数据血缘和安全框架。
• 优秀的问题解决、调试和沟通能力。
工作类型:全职
薪资:每年 $90,000.00-$130,000.00