数据工程师（Azure）– Synapse 和 Pyspark，Python，数据仓库和 Azure 数据探索器，Azure Devops
工作范围
• 设计、审查和开发 Pyspark 脚本。测试、故障排除数据管道和编排
• 实施和维护数据湖
• 建立与源数据系统的连接，例如本地数据库、物联网设备、API
• 根据特定项目需求，管理收集的数据到适当的存储/数据库解决方案，例如文件系统、SQL 服务器、大数据平台（如 Hadoop、HANA 等）
• 使用 Pyspark 设计和开发相关的数据管道，进行批量摄取的复制数据活动
• 执行数据集成，例如使用数据库表连接或根据项目分析需求采用其他机制
• 使用 Azure Devops 将管道工件从一个环境部署到另一个环境
• 优先考虑具备 Devops 专业知识
技能与经验
• 计算机科学或工程学学士学位，具有 2 年 Azure 数据工程、Python、Pyspark 或大数据开发经验
• 熟悉 Azure Synapse 分析，用于管道、编排、设置
• 1-2 年 Power BI 的可视化设计和开发经验。了解行级安全性、访问控制
• 具备 SQL、数据仓库、数据集市、使用 Pyspark 和 Python 进行数据摄取的丰富经验
• 精通在基于云的平台（如 AWS、Azure 等）上开发和维护 ETL 处理管道（优先考虑 Azure Synapse 或数据工厂）
• 具备良好的团队合作精神，良好的人际交往、沟通和解决问题的能力。
附加条件
• 使用 Purview 的数据目录，有效管理元数据、追踪数据血缘和数据发现
• 候选人应展示利用 Purview 确保数据治理、合规性和在 Azure 环境中高效数据探索的能力
其他
• 能够根据约定的时间表独立完成任务，无需过多监督
• 负责任务并主动采取措施解决阻碍任务完成的问题，必要时主动寻求帮助/指导。 
新加坡