我们正在寻找一位积极进取且经验丰富的数据工程师，加入我们不断壮大的数据团队。作为数据工程师，您将负责在 Azure 云平台上设计、构建和维护可扩展且可靠的数据管道和数据仓库解决方案。您将与数据科学家、分析师及其他利益相关者密切合作，将原始数据转化为推动业务决策的有价值的洞察。理想的候选人应具备扎实的数据工程原理知识，精通 Azure 云技术，并拥有 ADF、Databricks、Snowflake 和 Control-M 的实际操作经验。职责：使用 Azure 数据工厂（ADF）设计、开发和维护强大且可扩展的数据管道。在 Snowflake 上构建和优化数据仓库解决方案，确保性能、可扩展性和数据质量。利用 Databricks 进行数据处理、转换和使用 Spark 和 Python/Scala 的高级分析。实施和管理数据编排和调度，使用 Control-M。与数据科学家和分析师合作，理解他们的数据需求并提供高效的数据解决方案。监控和排除数据管道和数据仓库性能问题，确保数据的完整性和可靠性。实施数据质量检查和验证流程，以确保数据的准确性和一致性。开发和维护数据模型和架构，以实现最佳的数据存储和检索。实施和维护数据安全和治理政策。保持对 Azure 云技术和数据工程最佳实践最新进展的了解。记录数据管道、数据模型和 ETL 过程。参与代码审查，并为数据工程标准和最佳实践的发展做出贡献。及时排除和解决与数据相关的问题。所需技术技能：Azure 云：对 Azure 云服务有深入理解，特别是在数据和分析领域。Azure 数据工厂（ADF）：在使用 ADF 设计、构建、部署和管理复杂数据管道方面有成熟经验，包括数据流和映射数据流。Databricks：具备 Databricks 的实际操作经验，包括 Spark 编程（Python 或 Scala）、Delta Lake，以及优化 Spark 作业以提高性能。Snowflake：在 Snowflake 上设计、开发和管理数据仓库方面有丰富经验，包括数据建模、SQL 开发、性能调优和安全功能。Control-M：有使用 Control-M 进行工作流编排、调度、监控和管理批处理过程的经验。SQL：在不同数据库系统中进行数据查询、操作和分析的 SQL 扎实能力。数据建模：对不同数据建模技术（例如，关系型、维度型）有扎实理解。ETL/ELT 概念：对 ETL 和 ELT 原则及最佳实践有全面理解。脚本编写：至少精通一种脚本语言，如 Python，用于自动化和数据操作。版本控制：有使用 Git 和相关版本控制工作流的经验。数据质量：理解数据质量原则并有实施数据质量检查和流程的经验。期望技术技能：有其他 Azure 数据服务的经验，如 Azure Synapse Analytics、Azure 数据湖存储（ADLS）、Azure 事件中心和 Azure 函数。了解数据治理框架和工具。具有数据工程部署的 CI/CD 管道经验。熟悉敏捷开发方法。了解 NoSQL 数据库。技术认证（优先）：微软认证：Azure 数据工程师助理；Snowflake SnowPro 核心认证；Databricks 认证 Apache Spark 助理开发者；Control-M 认证。 
多伦多