大型语言模型训练研究员

多伦多 3天前全职 网络
面议
**我们是谁**: • *概述*: 我们相信,大型语言模型(LLM)将在彭博社的可预见未来中发挥非常重要的作用。作为一名 LLM 训练研究员,您将成为我们在 LLM 训练策略方面的专家。具体来说,您的重点将放在优化(例如,训练稳定性、优化器选择、学习率、正则化、批处理、浮点表示)、架构选择和目标函数的细节、数据预处理(例如,标记化和去重策略)以及任何其他对模型性能有重大影响的内容上。您将领导我们在这些领域的研究,并与我们工程部门的优秀机器学习研究人员合作构建 LLM。您还可能与外部服务提供商建立和利用合作关系,以显著加速我们的进展。 • *我们相信您能够**: - 建立并不断完善我们内部 LLM 训练的最佳实践 - 与工程师合作构建最先进的 LLM 模型 - 领导 LLM 训练的研究工作,带来科学突破,并在顶级会议和其他出版渠道分享这些发现 - 与外部提供商形成战略合作伙伴关系,以加速我们的技术进步 • *您需要具备**: - 5 年以上应用研究角色的经验 - 博士学位或在 LLM 训练方面的同等经验 - 在 LLM 或相关技术(例如,底层优化理论)方面的多篇出版物 - 出色的沟通和协作能力 - 长期战略愿景与目标驱动的战术重点的结合 - 与研究社区的互动(例如,会议或研讨会服务)。 • *最好具备**: - 理解大规模 LLM 训练的并行化策略 彭博社是一个平等机会的雇主,我们重视公司内部的多样性。我们不会因年龄、祖先、肤色、性别认同或表达、遗传倾向或携带者状态、婚姻状况、国籍或民族出身、种族、宗教或信仰、性别、性取向、性及其他生殖健康决策、父母或照顾者身份、身体或精神残疾、怀孕或产假、受保护的退伍军人身份、家庭暴力受害者身份或任何其他受适用法律保护的分类而歧视。