数据工程师（Azure）- Synapse 和 Pyspark，Python，数据仓库和 Azure Data Explorer，Azure Devops
工作范围
- 设计、审核和开发 Pyspark 脚本。测试、排除数据管道故障、编排。
- 在 PowerBI 中设计和开发报告和仪表板，设置具有行级安全性的访问控制，具备 DAX 查询经验。
- 建立与源数据系统的连接，如本地数据库、物联网设备、API。
- 在适当的存储/数据库解决方案中管理收集的数据，例如文件系统、SQL 服务器、大数据平台（如 Hadoop、HANA 等），以满足特定项目要求。
- 使用 Pyspark 设计、开发相关数据管道，进行批量数据摄取的复制数据活动。
- 执行数据集成，例如使用数据库表连接或其他机制，以满足项目分析要求的适当水平。
- 使用 Azure Devops 将管道工件从一个环境部署到另一个环境。
技能与经验
- 计算机科学或工程学学士学位，具有 2 年 Azure 数据工程、Python、Pyspark 或大数据开发经验。
- 熟悉 Azure Synapse 分析，用于管道、编排、设置。
- 1-2 年 Power BI 可视化设计和开发经验。了解行级安全性、访问控制。
- 熟练掌握 SQL、数据仓库、数据集市、使用 Pyspark 和 Python 进行数据摄取。
- 擅长在基于云的平台（如 AWS、Azure 等）中开发和维护 ETL 处理管道。（优先考虑 Azure Synapse 或数据工厂）
- 具有良好的人际交往、沟通和解决问题的能力的团队合作精神。
- 优先具备 Devops 专业知识。
工作时间：
8:30am 至 6pm（周一至周五）现场工作，无混合办公选项。
