数据工程师（Azure）- Synapse和Pyspark，Python，数据仓库和Azure Data Explorer，Azure Devops
工作范围
. 设计、审核和开发Pyspark脚本。测试、排除数据管道故障，编排。
. 在PowerBI中设计和开发报告和仪表板，设置具有行级安全性的访问控制，具备DAX查询经验。
. 建立与源数据系统的连接，例如本地数据库、物联网设备、API。
. 在适当的存储/数据库解决方案中管理收集的数据，例如文件系统、SQL服务器、大数据平台如Hadoop、HANA等，具体取决于项目需求。
. 使用Pyspark设计和开发相关数据管道，进行批量数据摄取的复制数据活动。
. 执行数据集成，例如使用数据库表连接或其他机制，根据项目的分析需求在适当的级别进行。
. 使用Azure Devops将管道工件从一个环境部署到另一个环境。
技能与经验
. 计算机科学或工程学士学位，拥有2年Azure数据工程、Python、Pyspark或大数据开发经验。
. 熟悉Azure Synapse分析，用于管道、编排、设置。
. 1-2年Power BI可视化设计和开发经验。了解行级安全性、访问控制。
. 熟练掌握SQL、数据仓库、数据集市、使用Pyspark和Python进行数据摄取。
. 擅长在基于云的平台（如AWS、Azure等）中开发和维护ETL处理管道。（优先考虑Azure Synapse或数据工厂）
. 具有良好的人际交往、沟通和解决问题的能力的团队合作精神。
. 优先具备Devops专业知识。
工作时间：
8:30am至6pm（周一至周五）现场工作，无混合办公选项。
