Azure 数据工程师

多伦多 8天前全职 网络
面议
关于四季酒店: 四季酒店由我们的员工驱动。我们是一群渴望变得更好、推动自己达到新高度并以我们希望被对待的方式对待彼此的个体。我们的团队成员遍布全球,通过对奢华的真诚承诺,为我们的客人、住户和合作伙伴创造了惊人的体验。我们知道,启发我们的员工提供这些卓越的客人体验的最佳方式是通过世界级的员工体验和公司文化。 在四季酒店,我们相信识别熟悉的面孔,欢迎新的面孔,并以我们希望被对待的方式对待每一个遇到的人。无论您是与我们合作、与我们共度时光、与我们生活还是与我们一起探索,我们相信我们的目标是创造将伴随您一生的印象。这源于我们相信,当我们真正与周围的人和世界建立联系时,生活会更加丰富。 关于地点: 四季酒店及度假村是一家全球奢华酒店管理公司。我们在全球47个国家管理着超过120家酒店和度假村以及50个私人住宅,并在不断增长。四季酒店员工体验和社会影响计划的核心是公司致力于支持癌症研究,以及在全球四季酒店公司办公室和物业中推进多样性、包容性、平等和归属感。在四季酒店,我们由人驱动,我们的文化使我们所做的一切成为可能。 Azure数据工程师将在四季酒店技术创新和数据(TID)部门内担任技术工程师,推动我们Microsoft Azure数据平台(包括Databricks)上的数据解决方案的设计、构建和优化。这个角色对于使组织能够通过现代云原生技术解锁可操作的见解并提供业务价值至关重要。 该职位向数据工程经理汇报,专注于在四季酒店的Azure Databricks Lakehouse环境中构建、迁移和优化数据管道、模型和集成。数据工程师确保这些解决方案可靠、高效,并符合企业架构、治理和分析准备标准。 作为TID交付团队内数据工程能力的核心成员,工程师将与业务利益相关者密切合作,以定义需求、用例和期望的结果。工程师将负责在Azure、Databricks和Informatica Cloud生态系统中构建、配置、保护、迁移、优化和重构数据平台解决方案。 理想的候选人将具备较强的沟通、分析和解决问题的能力,能够在组织的各个层面进行协作。他们应善于将业务知识转化为可扩展且有效的技术解决方案,专注于卓越的服务和持续改进。 该职位位于四季酒店及度假村多伦多公司办公室,向酒店系统高级总监汇报。此角色涉及与各级内部利益相关者的互动。 您的工作内容 主要职责 • 使用Azure、Databricks、Delta Lake和Informatica设计和实施可扩展的批处理和流数据解决方案,确保可靠性、性能和最佳实践。 • 开发和优化生产级PySpark、Python和SQL代码。 • 使用Informatica Cloud开发弹性数据集成管道,与治理框架(IDMC:数据质量、CDGC和Reference 360)无缝对齐。 • 支持优化Azure平台资源(Databricks集群、存储账户、网络和安全配置),以确保成本效率、性能和合规性。 • 与商业、个性化和其他团队合作,了解需求并构建策划的数据集和集成。 • 与数据架构师和DE负责人合作,为分析和报告建模和维护维度数据结构。 • 跨职能协作以收集需求,在Jira和monday.com中管理敏捷工作流程,并在Confluence中记录解决方案。 • 遵循架构框架并提出平台可扩展性、性能和运营改进建议。 数据工程与BI工程 • 在Azure Data Factory、Databricks、Informatica和SQL环境中设计、开发和维护稳健的批处理和流数据管道,确保可扩展性、可靠性和运营效率。 • 支持为客人个性化和商业分析开发数据管道;协助创建KPI监控的数据集,并与商业利益相关者合作以理解和满足数据需求。 • 利用CI/CD工作流、基础设施即代码(IaC)和自动化测试框架(单元、集成和数据验证)以及集成监控和可观察性,以确保符合定义的SLA和SLO。 • 具备管理Azure平台资源和网络配置的经验(例如Databricks集群、存储账户、VNET、私有端点),以确保性能、安全性和成本优化。 • 通过与数据战略与治理团队合作,应用治理标准,嵌入元数据、目录和血缘实践。 • 监控和调整管道性能和Azure成本利用率;识别计算、存储和工作负载调度的优化机会。 • 支持创建认证数据集和语义模型,以支持业务利益相关者进行准确和可信的Power BI自助分析。 • 与数据科学和分析团队密切合作,提供符合隐私和治理政策的策划、模型准备好的数据资产。 预期成果 • 可靠且可扩展的数据管道,提供一致的SLA和SLO。 • 通过自动化、CI/CD和可重用框架提高运营效率。 • 优化的Azure计算和存储支出,具有可衡量的性能KPI。 • 受信任、治理和认证的策划数据集,支持准确的BI和报告。 数据架构与治理 • 遵循既定的数据架构和工程标准,在Azure、Databricks和Informatica中构建和维护数据解决方案。 • 协助设计支持分析和预测的数据模型和集成模式,同时确保符合治理和质量实践。 • 使用Informatica IDQ和Unity Catalog等工具将元数据、血缘和数据质量检查嵌入工作流。 • 与架构和治理团队合作,使解决方案与企业战略、安全和云标准保持一致。 • 参与文档和设计审查,以确保性能、可维护性和遵循最佳实践。 运营和交付职责 • 确保所有数据计划符合企业架构、安全和治理标准。 • 在数据工程师、架构师、分析师和业务团队之间进行协作,以与业务战略和目标保持一致。 • 执行实施前和实施后验证,以确认与需求、数据标准和性能基准的一致性。 • 与内部团队和外部合作伙伴合作,确保高质量的交付和遵循合同义务。 • 向利益相关者清晰传达项目状态、风险和依赖关系,必要时升级问题。 • 通过反馈循环、回顾和流程优化,推动持续改进。 预期成果 • 在所有计划中一致应用企业数据架构和工程标准。 • 数据解决方案与企业技术战略之间的强大对齐。 • 按时交付满足业务、技术和治理要求的迁移和集成项目。 • 提高工程、业务和治理团队之间的协作和透明度。 • 专注于创新、责任和持续改进的高绩效团队。 • 面向未来、受信任且高效的数据资产,支持高级分析和AI驱动的决策。 您是谁 行为 • 出色的口头和书面沟通能力。 • 出色的组织和时间管理能力。 • 高度的自我激励(强烈的主动性) • 有效的个人说服能力。 • 能够管理工作量并处理全球电话会议。 功能 • 在Azure和Databricks生态系统中具备数据工程的技术专长。 • 出色的团队管理成员,并培养高绩效文化。 • 出色的概念、分析和解决问题的能力,具有良好的判断力和决策能力。 您带来的 • 至少3-5年的数据工程经验;具有使用Databricks的Azure平台经验。 • 工程、数学、信息系统、计算机科学、技术和/或数据管理或对技术或IT感兴趣的工商管理大学或更高学位。 关键技术技能 • 在Microsoft Azure环境+工具集(ADLS、ADF、Synapse、Data Bricks、Cosmos DB、FunctionApps、Logic Apps等)中具备数据工程专家。 • 使用Databricks的Lakehouse经验。 • Azure平台管理。 • 数据治理软件经验。 • Microsoft Power BI交付和支持。 • Microsoft Power Suite交付和支持。 • 强大的SQL查询技能。 • 在Python、C#、Scala、Java、R方面有丰富的历史。 • 数据流程改进。 • 在大型数据集中的工作。 • Confluence、Jira、TestRail。 • 帮助台工具和方法。 • Microsoft Visio和Office。 该职位将采用混合工作模式,每周需要在我们位于多伦多安大略省约克米尔斯路20号的临时地点工作3天,并根据需要前往我们位于多伦多安大略省莱斯利街1165号的四季酒店公司办公室 #LI-Hybrid 四季酒店致力于根据《安大略省人权法》和《安大略省残疾人无障碍法》提供就业住宿。如果因就业机会而被联系,请告知人力资源部门您是否需要住宿。