高级数据工程师

14个月前全职
Grid Dynamics

Grid Dynamics

location 纽约
unsaved
职位描述 在Grid Dynamics的职位 我们的客户是一家总部位于硅谷的全球最大的科技公司,在全球范围内开展业务。 在这个项目中,我们正在使用尖端的大数据技术开发一个高性能的数据分析平台,处理PB级别的数据。 我们正在寻找一位热情并精通技术的高级数据工程师,他渴望参与设计和实现一流的大数据解决方案,并将其部署到大规模环境中。 职责: • 构建数据管道以实现LLM的训练 • 与技术和非技术干系人员合作,收集需求,与数据系统集成,并交付大规模数据集 • 在复杂的多云数据湖中操作,构建端到端的集成工作流程 • 与隐私、安全和其他政策干系人员合作,设计、审查和实施自动化合规ETL解决方案,以供下游团队使用 要求: • 对机器学习原理有深入的理解,特别是在LLM的背景下。 • 5年以上的大数据工程经验 • 熟练掌握Java、Scala、Spark • 熟练掌握PySpark和Golang(优先考虑) • 具有构建和利用大规模数据基础设施、Map-Reduce/Hadoop、云原生部署的经验 • 在大规模分布式环境中具备警报、监控和故障处理自动化的经验 • 计算机科学或类似专业的学士学位(优先考虑) 我们提供: • 有机会参与尖端项目 • 与高度积极和专注的团队合作 • 有竞争力的薪资 • 灵活的工作时间安排 • 福利包 - 医疗保险、体育活动 • 企业社交活动 • 职业发展机会 关于我们: Grid Dynamics(纳斯达克:GDYN)是一家数字原生技术服务提供商,为财富1000强公司加速增长并增强竞争优势。 Grid Dynamics提供全渠道客户体验、大数据分析、搜索、人工智能、云迁移和应用现代化的数字化转型咨询和实施服务。 Grid Dynamics成立于2006年,总部位于硅谷,在美国、英国、荷兰、墨西哥以及中东欧地区设有办事处。 要了解更多关于Grid Dynamics的信息,请访问www.griddynamics.com。关注我们的Facebook、Twitter和LinkedIn。 最后更新日期:2024年2月18日