职位描述概要
此职位将负责设计、开发和维护可扩展的数据管道，确保系统间的数据流动，并优化数据基础设施。您将与跨职能团队合作，协助生产支持，并推动流程优化，以确保业务运营的无缝数据生态系统。必须具备丰富的Databricks经验。
主要职责和责任
- 数据管道开发：使用Azure Data Factory (ADF)、Azure Databricks、ADLS Gen 2和PySpark设计、构建和维护强大的数据管道，确保从各种来源高效的数据收集、处理和存储。
- Databricks专长：具备丰富的Databricks工作经验，包括资源配置、了解可用工具和模块，并能够分享Databricks的知识和专长，以优化该平台。
- 数据集成：整合来自多个结构化和非结构化来源的数据，包括API、第三方系统和数据库（SQL、Oracle），确保生态系统内的数据流畅。
- 数据仓库：在Databricks、Azure Synapse和ADLS等平台上设计、开发和优化数据湖和数据仓库，以支持分析和报告需求。
- ETL/ELT开发：使用ADF和自定义管道开发和优化ETL流程，以实现高效的数据提取、转换和加载。
- 流程优化：自动化和简化数据工作流（增量加载、电子邮件通知、管道运行），以提高系统性能并降低成本。
- 生产支持与解决：在SLA内排除和解决生产故障，确保最小停机时间和高数据可用性。在工作时间和延长时间内提供支持（如果是关键的P1故障，则与其他人轮流在周末提供支持），根据需要。
- 上线和项目支持：支持新代码和解决方案的成功迁移和实施。利用Azure DevOps CI/CD。
- 团队管理：领导和管理供应商员工，确保按时顺利执行项目或运营支持。确保SLA或项目里程碑按时完成，并为初级团队成员提供指导。
- 创新与优化：设计可扩展的高性能数据架构，促进创新、成本效益和卓越运营。
- 文档和知识转移：创建和维护清晰的流程、操作和技术解决方案文档，包括知识转移文档和数据目录更新。
- 监控与系统监督：监控系统性能，识别优化机会，并确保平台的可扩展性以满足未来需求。
教育与技能
- 计算机科学、工程、信息系统或相关领域的学士学位
- 具有云基础设施工作经验，尤其是Azure
- 具有Databricks工作经验
- 具有容器化工具（Docker、Kubernetes）和CI/CD管道经验
- 英语熟练
- 阿拉伯语熟练优先
- 具备机器学习工作流和模型部署知识优先
- 俄语、土耳其语和中亚语言熟练是加分项
经验与知识
- 6年以上数据工程、生产支持和管道管理经验
- 云平台：ADLS Gen 2、Azure Data Factory、Azure Databricks、Azure Synapse Analytics和DevOps、Azure Key Vault
- 编程/查询：Python、PySpark、SQL
- 自动化与监控：自定义自动化工具、故障电子邮件触发器、性能监控解决方案
- 具有项目管理经验优先
- 优秀的领导能力、沟通能力和解决问题能力是加分项
能力与具体要求
- 能够处理多样化任务并在压力下按时完成
- 独立负责地工作
- 具备与供应商的谈判技巧
- 执行与公司目标一致的明确策略
- 能够与技术和非技术受众有效沟通
- 专业领导并促进团队合作
- 管理变革并快速适应，具备批判性思维
- 应用系统化问题解决和敏捷决策
- 促进合作、创新、透明度和问责制
