概述
职位名称 – 高级数据工程师（Databricks, Python, PySpark）
招聘类型 – 全职
地点 – 加拿大远程
需要强大的高级个人资料。为此添加更多。
职位描述
必须具备：
编程语言：精通Python和PySpark，具有扎实的软件工程最佳实践理解。云计算：利用基于Azure的云数据平台，特别是利用Databricks和Delta Live Tables进行数据工程任务，同时有效利用与存储、计算和安全相关的服务。数据管道：设计、构建和维护稳健且可扩展的自动化数据管道，用于批量和流式数据的摄取和处理（Databricks工作流）。数据架构和建模：设计和实施符合业务需求并支持高效数据处理、分析和报告的稳健数据模型和架构。编排：利用工作流编排工具自动化数据管道执行和依赖管理。监控和警报：集成监控和警报机制以跟踪管道健康状况，识别性能瓶颈，并主动解决问题。强大的敏捷原则：利用敏捷开发方法，积极参与冲刺计划、每日站会、冲刺评审和回顾。在项目生命周期中灵活适应变化的需求和优先级。Unity Catalog
加分项：
Github Action 数据质量：在数据管道中实施数据质量检查和平衡，包括分析、验证和根本原因分析，以确保数据的准确性、完整性和一致性。CI/CD：实施持续集成和持续交付（CI/CD）实践，以实现数据管道的自动化测试和部署。
