工作目的
工作目的 高级数据工程师是跨职能团队的全面参与成员,独立在企业数据分析领域进行技术开发和问题解决。该角色涉及设计、开发、测试、实施、支持和维护技术数据和分析解决方案和产品,以支持阿联酋航空和阿联酋集团的业务,重点关注技术解决方案设计和数据架构的端到端适配。该职位要求对各自的技术配置文件有深入的专业知识,并与业务利益相关者、产品负责人、交付负责人、架构师和站点可靠性工程师合作,以成功地按时交付高质量的产品功能。
与目标领域相关的工作责任
在团队内领导技术设计、开发和部署解决方案
进行有效的技术设计审查,确保团队使用正确的架构模式
进行所需的源系统分析、数据概要分析、源到目标映射活动和数据建模(逻辑和物理),以确保满足业务需求
在高范围和复杂性的问题上完成数据工程编码和设计任务
展示良好的编码原则,并在设计和构建解决方案时行使良好的判断力
为同行进行代码审查
确保解决方案符合已发布的数据隐私和网络安全原则
实施和实践适合目的的估算技术,以促进迭代交付
在冲刺计划期间协助团队完善估算,包括最佳假设和相互依赖的理解
以数据驱动的思维方式进行操作
根据批准的技术设计,将数据和分析需求转化为数据解决方案
与团队成员共同构想解决方案,作为一组数据产品和数据管道
确保正在构建的解决方案稳定、可扩展和可维护
实施数据应用程序的监控,并跟踪产品质量、性能和稳定性
推动纠正、适应性、预防性和完善性措施,以保持解决方案的可靠性和质量
与跨职能团队成员合作,识别低效率的领域并提出解决方案
识别活动,以实现最佳资源利用、降低成本、技术债务整治、服务改进和重复使用价值
与架构师和产品负责人合作,优先考虑并实施此类活动
根据需要更新数据清单和注册表,以保持元数据和数据血统的最新状态,遵循约定的数据治理标准、指南和原则
与团队成员、主要数据工程师和架构师合作,制定和实施数据工程最佳实践和现代化技术,促进解决方案的可重用性、流程自动化、内置质量、测试驱动的开发、敏捷交付、及时的根本原因分析和无责任的事故事后分析
在为相关技术建立和采用数据工程手册方面发挥关键作用,并确保遵守该手册以及其他已发布的编码标准、数据技术蓝图
在问题解决中有效地进行根本原因分析和处理业务升级
在及时解决事故中与其他技术专家和供应商合作
在招聘和留住数据工程人才方面发挥重要作用
引导新员工,确保成功入职
支持工程领导,探索不同的工作模式,以实现数据工程团队的扩展,符合交付承诺
资格和经验
学历或荣誉:本科或同等学历,如计算机科学、计算数学、计算机工程或软件工程等相关领域的学位或荣誉,数据分析领域的专业或选修课程(例如数据仓库、数据科学、商业智能等)为佳
经验:5年以上的数据工程经验,少于5年的经验可考虑硕士学位持有者
在使用大数据堆栈和Microsoft Azure云基础设施的数据湖和数据仓库等分析应用方面有5年以上的开发、测试和支持经验
具有处理大量结构化和非结构化数据的设计和编码管道的批处理和实时数据摄取经验,安全且及时
对数据架构概念(如数据建模、大数据存储、Lambda架构)有深入理解
对系统集成架构有深入理解,并具有与各种源系统集成的经验,能够设计和开发将操作系统数据加载到单个数据平台中的负载,使用各种数据集成工具
具有构建可重用组件的经验
具备为数据管道和数据存储库设计监控和报警解决方案的经验
具有广泛的测试方法和工具知识和经验,包括对大数据ETL(提取、转换、加载)、商业智能应用和管道的功能、性能、回归、系统集成、冒烟测试等的测试方法和工具
注重效率和自动化,具备构建可靠的可重用自动化框架的经验,例如CI/CD
需要具备良好的SQL查询技能
航空业经验为佳
知识和技能
具有进行数据分析的能力,例如源系统识别、数据字典、元数据收集、数据概要分析、源到目标映射等
具有“你编码,你负责”的思维方式,即支持他们构建的产品
具有解决问题的能力,能够独立设计和记录解决方案
具备团队合作能力,能够与他人合作消除障碍、解决复杂设计问题和调试解决问题
能够迭代地交付解决方案和相关价值
负责并展示积极的态度
自我激励,对探索和学习新技术有热情,特别是企业数据分析领域的技术