职责：
• 设计和开发从源头到终端用户的数据管道
• 优化数据管道
通用技能：
• 具备云数据平台、数据管理和数据交换工具及技术的经验
• 具备商业和开源数据及数据库开发和管理经验，专注于数据存储设置和管理云数据即服务（DaaS）、应用程序数据库即服务（DBaaS）、数据仓库即服务（DWaaS）及其他存储平台（云端和本地）的经验
• 具备数据管道和工作流开发、编排、部署和自动化的经验，专注于编程和管道以创建和管理数据流动
• 具备云数据工程师经验，熟悉并精通不同编程语言，能够与多个平台集成以创建数据管道、自动化任务和编写脚本
• 具备DataOPS原则、最佳实践和实施及敏捷项目开发和部署的经验
• 具备持续集成/持续开发/部署（CI/CD）和数据供应自动化的经验
• 具备数字产品、数据分析、数据交换、数据供应和数据安全的经验
• 在设计/开发和实施在线分析处理（OLAP）和在线事务处理（OLTP）环境的大数据（VLD）迁移到云软件即服务（SaaS）、平台即服务（PaaS）和基础设施即服务（IaaS）环境方面有丰富的专业经验
• 在企业事实/维度模型、数据映射、数据仓库、数据湖和数据湖屋的设计、开发和实施方面有经验
• 管理项目交付的云数据服务经验，包括存储、存储库、数据湖、数据湖屋、密钥库、虚拟机、磁盘等
• 具备结构化、半结构化、非结构化数据收集、摄取、供应和交换技术开发企业数据仓库和数据湖及数据湖屋解决方案及运营支持的经验
• 具备DataOPS性能监控和调优的经验
• 具备优秀的分析、问题解决和决策能力；口头和书面沟通能力；演示技能；人际交往和谈判技能
• 具有按时完成任务记录的团队合作精神
要求
经验和技能要求：
必须具备：
• 使用Databricks、Delta Live Tables（DLT）及其等效工具设计、构建、自动化和优化复杂的数据ETL/ELT流程
• 使用Databricks和Unity目录或其等效工具开发统一数据平台
• 关系数据库（Oracle、MySQL、SQL Server）、数据建模（关系和维度）、高级SQL、查询优化、数据复制、管理
• 高级SQL技能（PL/SQL、TSQL）
• 大数据处理框架（PySpark）
• 熟练使用Azure Data Factory创建复制活动管道和在Databricks中创建自定义数据管道，并进行CI CD（Azure DevOPS Git集成）
• 跨不同平台的数据迁移和数据集成，从Oracle到Azure Data Lake、Oracle到Databricks、Oracle到Microsoft Fabric
技能要求：
理想技能/经验：
• 专注于从各种数据源提取、转换数据并加载到以奖章架构为基础的数据湖屋中的数据湖设计和开发
• 具备Oracle数据库、Azure SQL Server和Azure Data Factory的高级技能和实践经验
• 云技术（Azure、Google、AWS）
• 使用PL/SQL进行数据提取、转换和加载、初始设置及其他ETL经验管理和支持，如故障排除、性能调优、故障转移和恢复
• 脚本语言（Python、Unix shell、Scala）
