人工智能平台首席数据工程师

温哥华 4天前全职 网络
面议
我们的使命 万事达卡在全球200多个国家和地区推动经济发展,赋能人们。我们与客户共同努力,建立一个可持续的经济体,让每个人都能繁荣。我们支持多种数字支付选择,使交易安全、简单、智能且易于访问。我们的技术和创新、合作伙伴关系及网络共同提供一系列独特的产品和服务,帮助个人、企业和政府实现其最大潜力。 职位概述 人工智能平台首席数据工程师 关于万事达卡 万事达卡是一家全球技术公司,专注于支付行业,连接全球数十亿消费者、金融机构、商家、政府和企业。我们通过实现安全、简单和智能的交易,推动商业的未来。人工智能是我们战略的核心,旨在增强万事达卡的实力,使商业更加安全、智能和个性化。在万事达卡,我们正在构建下一代人工智能驱动的平台,以推动创新和影响。 角色: • 推动从传统和本地系统向现代、云原生和混合数据平台的现代化。 • 设计并领导多代理ETL平台的开发,用于批处理和事件流,集成AI代理以自主管理数据发现、模式映射和错误解决等ETL任务。 • 使用可扩展框架(如Apache Airflow、Nifi、dbt、Spark、Kafka或Dagster)定义和实施数据摄取、转换和交付管道。 • 利用LLMs和代理框架(如LangChain、CrewAI、AutoGen)来自动化管道管理和监控。 • 确保ETL平台的数据治理、目录管理、版本控制和数据来源追踪的稳健性。 • 定义项目路线图、关键绩效指标和平台效率及数据可靠性的性能指标。 • 建立并执行数据质量、数据管道的CI/CD及可观察性的最佳实践。 • 与跨职能团队(数据科学、分析和应用开发)密切合作,理解需求并交付高效的数据摄取和处理工作流。 • 建立并执行最佳实践、自动化标准和监控框架,以确保平台的可靠性、可扩展性和安全性。 • 与内部和外部利益相关者有效沟通,建立关系,包括高级管理人员,以影响数据驱动的战略和决策。 • 通过定期会议、了解团队成员、管理职业发展和识别风险人员,持续参与并提升团队表现。 • 监督ETL和代理工作负载在多云环境中的部署、监控和扩展。 • 持续改进平台性能、成本效率和自动化成熟度。 关于您: • 在数据工程、数据平台战略或相关技术领域拥有实践经验。 • 具有领导全球数据工程或平台工程团队的成功经验。 • 拥有使用Apache Spark、Kafka、Flink、NiFi和Cloudera/Hadoop等技术构建和现代化分布式数据平台的经验。 • 对于一个或多个数据管道工具(Nifi、Airflow、dbt、Spark、Kafka、Dagster等)和大规模分布式数据处理有强大经验。 • 有构建和管理AI增强或代理驱动系统的经验者优先。 • 精通Python、SQL和数据生态系统(Oracle、AWS Glue、Azure Data Factory、BigQuery、Snowflake等)。 • 深刻理解数据建模、元数据管理和数据治理原则。 • 在领导技术团队和管理复杂的跨职能项目方面取得成功的经验。 • 对在快速发展的领域保持前沿知识充满热情,具备在大规模组织内引领创新的能力。 • 优秀的沟通技巧,能够将技术概念调整为适合执行、运营和技术受众的内容。 • 在考虑可扩展性、成本效率、利益相关者优先事项和市场时间方面,具备领导技术决策的专业知识和能力。 • 在领导高绩效团队方面有证明的成功经验,具备领导和辅导高管级别报告和经验丰富的个人贡献者的能力。 • 具有数据科学、计算机科学、信息技术、工商管理或相关领域的高级学位。等效经验也将被考虑。 为什么加入我们? 在万事达卡,您将帮助塑造全球商业中人工智能的未来——解决大规模的复杂挑战,推动金融包容性,并加强定义我们品牌的信任和安全。您将与世界级人才、尖端技术合作,并产生持久的影响。 万事达卡是一个基于能力的包容性平等机会雇主,考虑申请者时不考虑性别、性别认同、性取向、种族、民族、残疾或退伍军人身份或任何其他法律保护的特征。我们为该职位聘用最合格的候选人。在美国或加拿大,如果您在完成在线申请过程或招聘过程中需要住宿或帮助,请联系reasonable_accommodation@mastercard.com,并说明您请求的住宿或帮助类型。请勿在此电子邮件中包含任何医疗或健康信息。合理住宿团队将及时回复您的电子邮件。 企业安全责任 所有涉及访问万事达卡资产、信息和网络的活动都伴随着对组织的固有风险,因此,预计每位为万事达卡工作或代表万事达卡工作的人都应对信息安全负责,并必须: • 遵守万事达卡的安全政策和实践; • 确保所访问信息的机密性和完整性; • 报告任何可疑的信息安全违规或泄露, • 根据万事达卡的指南完成所有定期强制安全培训。 薪资范围 加拿大温哥华:138,000 - 221,000加元