数据工程师

14个月前全职
140K AUD / 年 M&T Resources

M&T Resources

location 悉尼
unsaved
悉尼 IT和电信数据/记录管理 • 充满活力的工作文化 • 有吸引力的薪酬待遇 - 高达14万澳元 • 悉尼中央商务区,混合工作 职位目标: 数据工程师负责构建数据工程解决方案,包括数据模型、数据摄取、ETL、数据存储和数据交付。 您将与其他技术团队以及业务各个部门和外部合作伙伴紧密合作,设计和交付技术数据工程解决方案。 职责: • 为数据路线图的完善和交付做出贡献 • 在数据平台团队内提供技术咨询、开发和指导 • 全面负责数据工程项目,包括需求收集、解决方案设计,带领团队交付并管理利益相关者。 • 实施和倡导数据工程工作方式,包括自动化测试、CB/CI和持续部署。 • 负责数据仓库的端到端发布和部署过程 • 与基础设施团队合作,维护所有数据仓库环境 • 协助设计、构建、实施和维护基于云的数据管道和集成,用于现有和新的各种平台的数据源。 • 对技术设计和技术数据流程的构建进行所需的数据分析、编目和映射工作。 • 维护、改进或创建与数据堆栈相关的所有ETL流程。 • 协助其他技术团队部署数据聚合工具,并优化脚本、视图和查询的性能。 • 确保遵守与数据相关的所有合规义务,包括与隐私、安全和法规合规相关的义务。 资格和经验: • 相关的IT学位或认证。 • 至少3年的实际数据工程经验。具备构建数据摄取、转换和输出框架的经验将非常有优势。 • 熟悉数据仓库、数据管理和架构的最佳实践,具有在业务环境中使用数据管道、框架、工具和技术的丰富经验。 • 接触过技术设计的开发,包括数据分析、编目和映射工作。 • 有设计和构建API(REST / SOAP)的经验 • 熟悉DevSecOps工具和方法,如GitHub的CI / CD和Azure DevOps • 最好具备对Azure数据平台(Azure Synapse、Data Factory、Data Bricks、Data Lake、Power BI)和Azure云数据技术(Spark、ADLS2、CosmosDB、AKS、AEH)的良好了解。 • 具备强大的SQL背景,特别是能够编写高性能查询和解决性能问题的能力。 如果您对此职位感兴趣,请点击立即申请按钮。