职位：高级数据工程师（专注于Databricks）
地点：老多伦多
以人为本，每一天
BDO是一家建立在与员工和客户之间积极关系基础上的公司。我们的专业人士每天提供卓越的服务，帮助客户获得值得信赖的建议和见解。作为回报，我们提供一个屡获殊荣的工作环境，优先关注您的个人和职业成长。
您的机会
BDO数字部门正在寻找一位经验丰富且技术精湛的高级数据工程师（专注于Databricks），加入我们的技术咨询服务团队。此角色结合了技术领导与实际的数据工程，专注于使用Azure和Databricks交付可扩展、安全和生产级的数据管道。成功的候选人还将领导客户项目，将数据倡议与业务目标对齐，以创造实际影响。
主要职责
数据工程与平台开发
• 设计、构建和优化使用Databricks、Delta Lake和Apache Spark的强大数据管道。
• 为结构化和非结构化数据开发可扩展的ETL流程，确保数据质量和可靠性。
• 利用Databricks和Azure Data Lake实施跨云和本地源的数据集成解决方案。
• 自动化数据摄取、转换和验证工作流程。
• 监控、排除故障并增强数据管道的性能和可靠性。
• 确保所有数据工作流程的合规性、安全性和运营卓越。
客户与团队领导
• 作为客户项目的主要技术负责人，专注于数据工程和分析解决方案交付。
• 将业务需求转化为可扩展的数据架构和运营计划。
• 与跨职能团队合作，将数据解决方案集成到生产环境中。
• 指导初级团队成员，推动数据工程和云分析最佳实践的采用。
数据应用
• 将业务需求和分析原型转换为强大、可扩展的数据解决方案。
• 应用适当的数据建模和转换技术，以支持分析和机器学习计划。
• 记录数据管道并为内部知识分享做出贡献。
资格
要求
• 教育背景：计算机科学、数据工程、信息系统或相关学科的学士或硕士学位。对数据结构、算法和分布式系统有坚实的基础。
• 专业经验：至少5年的数据工程实践经验，其中至少3年直接使用Databricks、Apache Spark和云数据平台的经验。在生产环境中成功部署和维护大规模数据解决方案的证明。
• 深入了解Microsoft Azure生态系统，具有使用Azure Data Lake、Azure Databricks、Azure Synapse和Azure Dev Ops等服务的经验。
• 对Databricks非常熟练，包括Delta Lake、Apache Spark和数据管道编排的实际操作经验。在生产中优化性能和可靠性的经验。
• 精通Python和/或Scala的高级编程技能，具有使用数据工程库和框架的实践经验。
• 对CI/CD实践有扎实的理解，具有使用Git Hub Actions、Azure Dev Ops或Jenkins等工具设计和维护管道的经验。熟悉基础设施即代码工具，如Terraform或ARM模板，用于自动化环境配置和部署。
• 优秀的书面和口头沟通能力，能够有效地与包括数据科学家、工程师、业务合作伙伴和高管在内的各种利益相关者进行沟通。具有向非技术受众解释技术概念和影响决策的能力。
优先考虑
• 认证：如Databricks认证数据工程师或Microsoft认证（例如Azure数据工程师助理）等专业认证。
• 具有数据治理、数据安全和合规框架的经验。
• 咨询经验以及优秀的沟通和客户管理技能。 
