经验：5到10年
地点：阿布扎比，班加罗尔，钦奈，古尔冈，浦那
职位代码：100797
发布日期：2023年12月15日
职责：
构建数据管道并应用批处理和实时消息系统的数据转换。
评估新数据源和数据收集技术的有效性和准确性。
能够在数据转换和数据建模的各个方面工作。
改进数据收集程序，包括与构建分析系统相关的信息。
遵循和记录最佳实践和流程。
展示能够同时处理多个任务的能力。
成功满足紧迫且常常苛刻的时间表。
这份工作将要求与ERM其他业务单位的专业人员和技术领导密切合作，跨时区组成多样化的团队，以项目为基础实现收入交付。
要求：
5-7年的总体IT经验
3到4年的数据转换和使用Azure技术进行ETL的经验
2到3年的实时数据管道构建经验，使用Apache Spark或Kafka、ETL工具、Azure数据工厂、ARM模板
了解Azure IOT框架和数据流
对关系型和非关系型数据库建模有很好的理解
能够熟练操作和组合来自多个来源的大型数据集
熟练掌握Python和Dash或R的脚本编写
具有NoSQL数据库（如MongoDB、CosmosDB）的经验
使用BI工具（如PowerBI、Tableau等）可视化/展示数据的经验
了解Docker和DevOps流水线
数学/计算机科学学位 
阿布扎比