数据仓库工程师 - Azure云

15个月前全职
Dice

Dice

location 纽约
unsaved
Dice是技术专家在职业生涯的每个阶段的首选职业目的地。我们的客户,RBC Technology Solutions LLC,正在寻找以下职位。立即通过Dice申请! 我们正在寻找一位经验丰富的Azure数据架构师加入我们的团队,并在架构和实施中发挥关键作用 使用Microsoft Azure平台构建和实施数据管理和报告解决方案。在这个角色中,您将与数据科学家,数据分析师和业务利益相关者密切合作 使用Azure Databricks设计,开发和维护数据管道和分析解决方案。 职责: • 数据管道开发:使用Azure Databricks,Apache Spark和其他Azure服务设计,开发和维护数据管道和ETL流程 用于摄取,转换和准备分析和报告的数据。 • 数据建模:与合作设计和实施可扩展的数据模型,支持高级分析和机器学习工作负载。 • 数据集成:集成来自各种来源的数据,包括本地系统和基于云的 源,确保数据质量,可靠性和一致性。 • 性能优化:优化数据管道和查询的性能,可扩展性和成本效益 利用分布式计算和并行处理的最佳实践。 • 数据治理和安全性:实施数据治理和安全措施,以确保数据 隐私,合规性和遵守组织政策和法规。 • 监控和故障排除:为数据管道设置监控和警报,并主动 解决问题,以最小化人工干预。 • 文档:创建和维护数据工程流程,数据流和 系统架构的文档。 • 协作:与跨职能团队密切合作,包括数据科学家,分析师,软件 开发人员和业务利益相关者,了解分析需求并提供解决方案 满足业务需求。 资格要求: 计算机科学,数据工程或相关领域的学士或硕士学位。 在使用Azure Databricks和Apache Spark进行数据工程,ETL开发和 大数据处理的架构和实施方面具有丰富经验。 精通SQL,相关编程语言。 熟悉Azure服务,如Azure Data Factory,Azure SQL Data Warehouse和 Azure存储。 了解数据仓库概念,数据湖和数据建模。 熟悉版本控制系统(例如Git)和DevOps实践。 出色的解决问题的能力和在协作,快节奏的环境中工作的能力。 能够领导小团队并能够独立工作。 良好的沟通能力,能够向非技术利益相关者传达技术概念。 具有医疗领域经验将是巨大的优势。 最好具有对.Net框架的良好知识和理解。 数据仓库工程师 - Azure云