Big Data Engineer

17 months agoFull-time
XPT Software Australia Pty

XPT Software Australia Pty

location Sydney
unsaved
该职位负责领导: 架构、设计和实施数据管道,并运行高级分析/洞察,以实现数据即服务(DaaS) 将DaaS路线图与其他产品路线图对齐 了解产品业务需求并开发解决方案设计以满足业务需求 架构、设计和构建稳健的事件驱动实时分析能力 推动数据质量和数据治理 预算编制、跟踪和预测资本和运营支出 与所有利益相关者保持强大的信任顾问关系,以培养协作和创新的文化,从传统的交易型参与模式转变为 将技术生态系统、数据环境、分析方法和分析资产与战略路线图对齐 对大数据和分析如何将创新产品带入生活具有领导者/战略思维的观点 组装满足功能/非功能业务需求的大型复杂数据集 与产品供应商接口,了解新技术、定价和客户适用性。参与供应商评估 与业务利益相关者合作开发和分析大数据和商业智能需求 管理和推动外包供应商实现明确的交付和运营目标 管理资源能力和人员配备 识别团队的能力并为团队成员提供指导、培训和解决问题的帮助 确保团队成员具有增长导向、积极主动、创新和创业的心态 了解业务战略,将其转化为明确的行动,并引导团队实现组织的目标和计划。 展示与业务和技术团队合作的强大口头和书面沟通能力 主要职责 增强、优化和维护现有的数据摄取、转换和提取管道和为大数据/湖库平台构建的报告和分析资产。 为加入数据工程章节的新团队成员提供技术指导和培训,以了解框架和技术。 按照敏捷工作方式与产品负责人和章节负责人合作,了解季度的优先事项和OKR,并根据计划在季度内从倡议所有者或项目发起人那里收集详细需求。 设计、构建、维护和审核数据管道、资产以满足最终用户需求。数据管道必须符合所有架构、设计和工程原则。 定期评估数据工程工具集,并提出高效和具有成本效益的替代工具集和技术。 设计数据管道和资产以满足非功能性需求(安全性、可靠性、性能、可维护性、可扩展性和可用性)。最重要的是,它们应该被设计成在云上保持计算成本低廉。 负责将数据资产整合到数据模型中,并使数据准备好供最终用户用例和下游应用程序使用。此外,为了使数据管道更高效,建议对数据模型进行更改。 使用本地工具和云原生工具对从源系统摄取的新数据集和从现有数据集派生/构建的数据进行数据整理、数据分析和数据分析。 与其他团队协调规划、设计、治理、工程和发布管理流程,并确保及时准确地交付数据和服务。 根据下游需求构建新的数据资产和数据管道。例如,用于Tableau的数据集与用于TM1立方体构建的数据集不同。 记录低级设计、源到列映射、测试用例、生产发布实施计划和操作支持手册。 使用现有工具(如Control M)安排数据管道,正确处理上游依赖关系,并满足SLA要求。 在生产发布后向运营提供保修支持,并随后更新文档。 与多个业务和IT团队合作交付最终成果。 定期评估数据工程工具集,并提出高效和具有成本效益的替代工具集和技术。