我们的客户是一家银行公司,正在寻找一位 IT - 数据工程师 V,工作地点位于加拿大安大略省多伦多/混合办公模式。
职责:
• 向经理汇报,数据工程师(DE)通过设计和构建数据管理及分析解决方案,支持欺诈数据迁移和商业智能项目,确保高质量和可信的数据可供欺诈绩效管理团队使用,以便就我们的注册人做出明智的商业决策,包括开发报告和分析系统及自助报告。
• DE 负责与数据和产品负责人及来自业务、IT 和外部团队的各种利益相关者合作,以确保数据项目的成功交付。
• 范围与复杂性
• DE 负责在 Azure 数据平台上开发和维护数据管道,设计和管理数据存储库、数据湖和数据仓库。DE 在操作层面支持数据治理和数据质量策略,维护数据资产的各种文档,包括数据字典、数据沿袭、所有权和业务规则。
• DE 与其他数据工程师、数据分析师(DA)、业务分析师(BA)、产品负责人、IT 和业务领域专家密切合作。特别是在数据迁移项目中,DE 设计源到目标的映射,从当前系统提取数据,转换并加载到新的基于云的解决方案中。DE 还与应用程序和 QA 团队紧密合作,以验证数据,确保质量和与数据架构的一致性。
• 与其他数据工程师、数据分析师、业务分析师、业务领域专家、记录分析师和隐私分析师合作,理解数据需求并创建有效、安全的数据工作流程。
• 负责使用各种 Microsoft Azure 数据服务和框架(包括但不限于 Azure Databricks、数据工厂、ADLS 存储、PySpark)设计、构建和维护安全合规的数据处理管道。
• 构建数据库、数据集市或数据仓库,并执行数据迁移工作。
• 构建报告和分析工具,以利用数据管道,提供对关键业务绩效指标的可操作洞察。
• 设计、实施和维护数据管道,以便在 Microsoft Azure 云中进行数据摄取、处理和转换。
• 创建和维护数据存储解决方案,包括 Azure SQL 数据库、Azure 数据湖和/或 Azure Blob 存储。
• 利用 Azure 数据工厂或可比技术,创建和维护 ETL(提取、转换、加载)操作。
• 实施数据验证和清洗程序,以确保数据的质量、完整性和可靠性。
• 改善数据管道的可扩展性、效率和成本效益。
• 监控和解决数据管道问题,以确保数据的一致性和可用性。
• 识别、设计和实施内部流程改进,包括重新设计基础设施以提高可扩展性、优化数据交付和自动化手动流程。
• 根据业务需求适应和学习新技术。
• 确保遵守数据治理、隐私和安全政策。
• 培养和维护促进公平、多样性和包容性、相互尊重、团队合作和服务卓越的组织文化。
要求:
• 使用 Microsoft Azure 技术(包括 Spark)架构和数据集。
• 在 Microsoft 和 Azure 中有数据迁移项目的经验。
• 在内部和外部数据及流程上进行根本原因分析的经验,以回答特定的商业问题并识别改进机会。
• 与非结构化数据集相关的强大分析技能。
• 成功处理、处理和提取大规模、分离数据集价值的历史。
• 能够在时间敏感的环境中计划、优先排序和管理工作负载。
• 具有类似项目的经验 - 图形数据库。
• 银行业经验。
• 有进行根本原因分析的经验。
为什么要申请?
• 健康福利
• 推荐计划
• 优秀的成长和晋升机会
作为一个平等机会雇主,ICONMA 提供一个支持和鼓励所有人能力的就业环境,不论种族、肤色、宗教、性别、性取向、性别身份或表达、民族、国籍、年龄、残疾状态、政治派别、遗传信息、婚姻状况、受保护的退伍军人身份或任何其他受联邦、州或地方法律保护的特征。