我们正在寻找一位有动力的业务数据工程师,具备2-5年Lakehouse环境的工作经验。这个混合角色结合了数据工程师的技术严谨性和数据分析师的业务洞察力,构建可靠的数据管道,同时与利益相关者合作,提供有影响力的分析和报告。
理想的候选人具有Databricks、Power BI、高级SQL、Fivetran、来自本地和云系统(包括Workday和Salesforce)的数据集成的实践经验,并对Python和Databricks Notebooks有扎实的理解。
主要职责 设计、开发和维护用于数据摄取、转换和提供清洁、可靠的业务数据以进行分析和报告的数据管道和工作流。
与业务团队合作以收集需求,执行数据验证,并支持UAT/演示。
从包括Workday、Salesforce、本地和SaaS应用程序在内的多种系统中提取、集成和转换数据,使用API、JDBC/ODBC和本地/直接连接。
编写和优化高级SQL以进行数据建模、转换和成本高效的查询执行。
构建和优化Power BI数据集、模型和仪表板,以获取业务洞察和性能跟踪。
使用Databricks Notebooks与Python和/或Scala进行数据准备、自动化和分析。
监控和优化计算资源和作业性能以控制成本和提高效率。
记录数据管道、转换逻辑和架构以确保透明性和可维护性。
教育和经验 在数据工程或业务数据分析角色中有2-5年的经验。
具有Databricks(包括Delta Lake、Spark SQL和Notebooks)的丰富实践经验。
对Power BI(数据建模、DAX、仪表板设计、发布)有深入的工作知识。
具备用于大规模数据转换和优化的高级SQL技能。
熟练使用Python和/或Scala在Databricks中进行数据处理。
具有使用Fivetran或类似ETL/ELT工具进行自动化数据摄取的经验。
有集成来自Workday和Salesforce等业务应用程序的数据的经验(通过API、报告或连接器)。
能够管理和转换来自本地和云系统的数据。
具备强大的沟通能力,具有业务需求收集和数据讲述的经验。
计算机科学、数据工程、信息系统、统计学或相关领域的学士学位。
相关认证(例如,Databricks认证数据工程师、Microsoft Power BI数据分析师、Workday报告专家)是一个加分项。
优先/可选 具备Apache Spark(架构、RDDs、数据框架、优化)的基础知识。
在Databricks或类似平台中具有查询和计算成本优化的经验。
熟悉数据治理、安全性和元数据管理。
接触过使用Git或Dev Ops工具的数据管道的CI/CD。
GenAI代理和/或机器学习经验。
决策和监督 在最少监督下工作。
在既定程序内做出需要分析和解释的决策和建议。
工作条件 一般舒适的工作条件,包括搬运和现场安装。
使用视频显示终端时需要适度的视觉集中。
成功的候选人必须能够在加拿大工作并获得加拿大受控商品计划(CGP)下的许可。