职位描述
作为三菱日联(MUFG)的数据工程师,您的职责通常包括:
• 数据基础设施管理:设计、构建和维护数据基础设施,包括数据库和数据管道,以确保高效的数据存储和检索。
• ETL(抽取、转换、加载)开发:开发和实施ETL流程,从各种来源提取数据,将其转换为一致的格式,并加载到数据生态系统中进行分析。
• 数据集成:整合来自不同系统和来源的数据,包括内部数据库和外部API,以创建组织财务数据的统一视图。
• 数据质量和治理:通过实施数据治理流程、数据验证和数据清洗程序,确保数据质量、完整性和安全性。
• 性能优化:优化数据基础设施和处理管道,提高数据处理速度和整体系统性能。
• 实时数据处理:实施实时数据处理解决方案,处理流式财务数据,用于交易平台或欺诈检测等时间敏感应用。
• 数据安全和隐私:实施安全措施,保护敏感的财务数据免受未经授权的访问,并遵守数据隐私法规。
• 协作工作:与产品负责人、业务分析师、数据分析师、数据科学家和其他利益相关者合作,了解数据需求,并为他们提供可靠和可访问的数据。
资格要求
• 计算机科学或相关技术领域的学士学位或同等经验。
• 1-3年商业经验的ETL工具(具有Apache NiFi经验将被视为优势)。
• 有Python等编程语言的经验将被视为优势。
• 具有与数据相关的流程控制经验。
• 有使用敏捷方法与开发团队合作实现计划流程交付物的经验。
• 高度准确和注重细节。
• 展示为客户提供以质量为导向的服务的承诺。
• 出色的英语口头和书面沟通能力。
• 良好的团队合作能力。