软件工程师 - 机器学习培训 - 新加坡

28天前全职
11.3K - 22.5K SGD / 月 BYTEDANCE PTE. LTD.

BYTEDANCE PTE. LTD.

location 新加坡
unsaved
关于我们 字节跳动成立于2012年,使命是激发创造力,丰富生活。我们拥有十多个产品,包括 TikTok、Lemon8、CapCut 和 Pico,以及专门面向中国市场的平台,如今日头条、抖音和西瓜视频,使人们更容易、更有趣地连接、消费和创造内容。 为什么选择字节跳动 激发创造力是字节跳动使命的核心。我们的创新产品旨在帮助人们真实地表达自己、发现和连接,而我们的全球多元团队使这一切成为可能。我们共同为我们的社区创造价值,激发创造力,丰富生活 - 这是我们每天努力实现的使命。 作为字节跳动的一员,我们努力与优秀的人一起做伟大的事情。我们以好奇心、谦逊和在快速发展的科技公司中产生影响的愿望为引领。通过不断迭代和培养“始终是第一天”的心态,我们为自己、公司和用户取得有意义的突破。当我们共同创造和成长时,可能性是无限的。加入我们吧。 多样性与包容性 字节跳动致力于创造一个包容的空间,让员工因其技能、经验和独特视角而受到重视。我们的平台连接全球各地的人们,我们的工作场所也是如此。在字节跳动,我们的使命是激发创造力,丰富生活。为了实现这一目标,我们致力于庆祝我们多样的声音,创造一个反映我们所接触的众多社区的环境。我们对此充满热情,希望你也是。 关于团队 字节跳动大型模型团队致力于开发业界最先进的 AI 大型模型技术,成为世界一流的研究团队,并为技术和社会发展做出贡献。大型模型团队在 AI 领域具有长期愿景和决心,研究方向涵盖自然语言处理、计算机视觉、语音等领域。依托平台丰富的数据和计算资源,团队持续在相关领域投资,并推出了自己的通用大型模型,提供多模态能力。 机器学习(ML)系统子团队结合系统工程和机器学习的艺术,开发和维护全球范围内的大规模分布式 ML 训练和推理系统/服务,为 LLM/AIGC/AGI 提供高性能、高可靠性、可扩展的系统。 在我们的团队中,你将有机会构建与 GPU/NPU/RDMA/存储集成的大规模异构系统,并保持其稳定可靠运行,丰富你在编码、性能分析和分布式系统方面的专业知识,并参与决策过程。你还将成为来自美国、中国和新加坡的全球团队的一部分,共同朝着统一的项目方向努力。 职责: - 负责构建下一代 SFT/RL 训练框架 - 负责优化 e2e LLM/AIGC 训练效率,包括减少内存使用、调整模型并行策略等。 - 负责使训练框架易于采用且具有良好的开箱即用性能 - 与关键产品团队合作,推动其 LLM/AIGC 产品落地 资格 最低资格: - 本科及以上学历,计算机/电子/自动化/软件或相关专业; - 至少 3 年 C/C++ 工作经验,精通算法和数据结构,熟悉 Python - 理解深度学习算法的基本原理,熟悉神经网络的基本架构,并理解 PyTorch 和 TensorFlow 等深度学习训练框架 - 具有强烈的责任感,良好的学习能力、沟通能力和自我驱动力,良好的团队精神 优先资格: - 精通 CUDA 上的 GPU 高性能计算优化技术,深入理解计算机架构,熟悉并行计算优化、内存访问优化、低位计算等。 - 熟悉 FSDP、Deepspeed、Megatron 等 - 对 LLM 模型有深入了解,有加速 LLM 模型优化的经验 字节跳动致力于创造一个包容的空间,让员工因其技能、经验和独特视角而受到重视。我们的平台连接全球各地的人们,我们的工作场所也是如此。在字节跳动,我们的使命是激发创造力,丰富生活。为了实现这一目标,我们致力于庆祝我们多样的声音,创造一个反映我们所接触的众多社区的环境。我们对此充满热情,希望你也是。