作为高级Azure数据工程师，您将成为我们数据工程团队的重要成员，负责在Azure云平台上设计、实施和优化数据管道和解决方案。您将在构建和维护数据基础设施中发挥关键作用，确保数据的可用性、可靠性和性能。此职位要求具备Azure数据服务、ETL流程的扎实背景，并致力于数据工程的最佳实践。
主要职责和责任
该角色必须执行以下核心职责：
- 设计、开发和维护端到端数据管道，利用Azure Data Factory、Azure Databricks和其他Azure数据服务。
- 实施高效的数据提取、转换和加载（ETL）流程。
- 具备构建数据湖、数据仓库和数据集市的端到端架构经验。
- 与数据架构师和其他利益相关者合作，设计可扩展且稳健的数据解决方案。
- 确保跨各种源系统和数据存储的数据集成。
- 执行数据转换、清理和丰富，以支持分析和报告需求。
- 优化数据处理以提高性能和可扩展性。
- 利用Azure云服务，如Azure SQL Data Warehouse、Azure Synapse Analytics和Azure Data Lake Storage，构建和管理数据解决方案。
- 实施Azure资源管理和成本优化的最佳实践。
- 实施数据治理政策，确保数据安全和符合行业标准。
- 管理访问控制、加密和审计。
- 监控数据管道和基础设施性能，识别并解决瓶颈。
- 持续优化数据流程以提高效率。
- 维护数据管道、架构和配置的全面文档。分享知识并指导初级团队成员。
资格/经验
- 计算机科学、信息技术或相关领域的学士或硕士学位。
- 5到10年专注于Azure云技术的数据工程经验。
- 精通Azure Data Factory、Azure Databricks、Azure SQL Data Warehouse和Azure Data Lake Storage。
- 强大的SQL和脚本技能，用于数据操作和自动化。
- 了解数据仓库概念、数据建模和数据集成模式。
- 精通Python和PySpark开发、DWH、数据集成、云、架构、设计、数据建模、云数据仓库如Azure Synapse、Snowflake分析仓库。
- 熟悉数据治理和合规标准。
- 优秀的问题解决和故障排除能力。
- 强大的沟通和协作能力。
- 微软认证：Azure数据工程师助理
- 微软认证：Azure解决方案架构师专家
