高级大数据工程师

纽约 1天前全职 网络
面议
高级大数据工程师 地点:美国新泽西州威霍肯;美国纽约州纽约市;美国康涅狄格州斯坦福德 项目描述 ACQA建立在Microsoft Azure云计算技术之上。其目标是提供: - 可扩展的成本高效基础设施,使用云PaaS组件。 - 单一核心平台,开放架构,设计用于变更,详细的成本指标,自动化数据血统。 - 在前台、财务和风险之间共享,提高合规性。 - 单一平台/单一体验——培训快速,操作简便,保留人才。 ACQA平台由一系列组件组成,提供下一代估值和风险管理服务。 职责 - 开发Apache Spark和Azure Databricks等大数据技术 - 使用Scala、Java或Python编程复杂的生产系统 - 在主要云提供商(理想情况下为Microsoft Azure)担任平台工程角色的经验 - 使用现代云友好构建系统(如GitLab)开发和/或操作CI/CD管道 - 在开发、构建和运行时环境中使用容器化的经验,包括Kubernetes的经验 技能 必须具备 - 开发Apache Spark和Azure Databricks等大数据技术 - 使用Scala、Java或Python编程复杂的生产系统 - 在主要云提供商(理想情况下为Microsoft Azure)担任平台工程角色的经验 - 使用现代云友好构建系统(如GitLab)开发和/或操作CI/CD管道 - 在开发、构建和运行时环境中使用容器化的经验,包括Kubernetes的经验 加分项 - 在主要公共云提供商(理想情况下为Microsoft Azure)使用Terraform的生产经验 - Python经验 - 测试和仪表化实践、可观察性和警报工具 - 对信息建模、数据结构和算法的理解 - 技术架构和低级设计 - 敏捷开发和规划实践 - 能够在大型全球团队中有效协作并影响关键架构决策