全球 LLM 数据 - LLM 训练运营编码分析师

洛杉矶 11天前全职 网络
59.1万 - 136.2万 / 年
工作地点:洛杉矶 团队:用户运营 雇佣类型:正式 职位代码:A24421 职责 关于团队 LLM 全球数据团队专注于为 LLM 生成国际数据。对于大型模型的训练,数据是模型质量的生命线——全球数据团队与技术、产品和运营团队紧密合作,以确保有效的数据生产策略和执行管理。 作为我们 LLM 全球数据团队的关键成员,LLM 训练运营分析师将在管理涉及多样编码数据集的大型语言模型(LLM)训练过程方面发挥重要作用。此角色专注于监督和改善操作工作流程,主要针对与代码相关的项目,确保以高质量和高效率交付。 主要职责和任务: • 项目管理:领导和管理多个以编码为重点的 LLM 训练项目,确保按时完成、达到质量标准和目标。跟踪项目进展,识别风险,并在必要时实施纠正措施以保持项目进度。与产品经理、工程师、研究人员、数据标注员及其他跨职能团队成员建立并维护良好关系。沟通项目更新,解决问题,协调期望,以确保项目成功。协调与全球团队的会议和讨论,确保项目顺利执行,并根据项目需求与外部供应商和培训师合作。 • 工作流程设计与管理:设计、管理和优化以编码为重点的 LLM 训练项目的工作流程,包括培训设计、质量保证流程和性能跟踪,以满足项目需求。与产品经理、工程师及跨职能团队密切合作,确保在质量指标和项目期望上保持一致。 • 运营改进:进行质量和生产力改进实验,以增强与代码相关的训练数据的运营流程。领导并支持跨多个数据领域的一般标注操作改进计划。开发和维护技术指南和案例手册,以支持一致的高质量数据生产。 • 数据检查与分析:为 LLM 编码项目设计和实施数据分析策略。使用统计和编程方法分析标注质量、模型性能和数据集覆盖率。通过基于切片的评估和错误分析识别数据缺口和失败模式。使用 Python(Pandas、NumPy、Matplotlib)和 SQL 生成洞见并支持模型训练操作。与研究人员合作,以告知训练策略和数据改进。 • 团队领导与合作:为团队成员提供指导和支持,帮助他们发展技能并确保交付高质量的成果。营造一个协作的环境,让团队成员可以分享知识和最佳实践,以改善整体表现。 资格 最低资格: • 3年以上项目或运营管理相关经验。 • 具备 Python、Java、Go 或 C 等编程语言的经验,来自编码项目或软件工程团队中的技术、项目经理或敏捷教练角色。 • 较强的沟通和解决问题的能力,能够有效理解和传达与代码相关的概念。 • 较强的项目管理技能,能够设计、管理和优化复杂的工作流程。 • 能够在快节奏的项目环境中平衡独立判断与协作团队工作。 优先资格: • 具备 RLHF 标注经验,并与领先的 AI/LLM 公司在技术项目上合作的经验。 • 熟悉代码库,理解软件开发流程、编码最佳实践和版本控制系统(如 Git)。熟悉全栈概念,包括前端接口、后端逻辑和数据库集成。 • 在与数据相关或 AI/LLM 项目中领导和指导初级团队成员的能力。 • 对 LLM、计算思维深感兴趣,能够适应高强度的工作环境。 • 热衷于学习,参与多样的技术案例研究,与全球团队合作,并熟练使用增强项目表现的技术工具。 • 熟练掌握普通话(阅读和口语),以便与讲中文的全球团队有效沟通。 职位信息 【薪酬透明度】薪酬描述(年) 此职位在所选城市的基本薪资范围为 $83600 - $192534 年。 薪酬可能因多种因素而异,包括候选人的资格、技能、能力和经验,以及工作地点。基本薪资是为补偿和认可员工工作而提供的总薪酬的一部分,此角色可能有资格获得额外的酌情奖金/激励和限制性股票单位。 福利可能因雇佣性质和工作地点国家而异。员工在第一天即可享受医疗、牙科和视力保险、公司匹配的 401(k) 储蓄计划、带薪父母假、短期和长期残疾保险、人寿保险、健康福利等。员工每年还享有 10 天带薪假期、10 天带薪病假和 17 天带薪个人假(根据入职时间按比例计算,随着任期增加而增加)。 公司保留随时修改或更改这些福利计划的权利,无论是否提前通知。 对于洛杉矶县(未合并)候选人: 符合条件的申请者如有逮捕或定罪记录,将根据所有联邦、州和地方法律,包括洛杉矶县公平机会法令和加利福尼亚公平机会法案,考虑其就业申请。我们的公司相信,犯罪记录可能与以下工作职责直接、负面相关,可能导致撤回有条件的就业提议: 1. 与内部/外部客户和/或同事互动,并偶尔有无人监督的接触; 2. 适当处理和管理机密信息,包括专有和商业秘密信息及访问信息技术系统; 3. 行使良好的判断力。 关于我们 字节跳动成立于2012年,使命是激发创造力,丰富生活。我们拥有超过十款产品,包括 TikTok、Lemon8、CapCut 和 Pico,以及针对中国市场的特定平台,如今日头条、抖音和西瓜,字节跳动使人们更容易、更有趣地连接、消费和创造内容。 为何加入字节跳动 激发创造力是字节跳动使命的核心。我们的创新产品旨在帮助人们真实地表达自己,发现和连接——我们的全球多元团队使这一切成为可能。我们共同为我们的社区创造价值,激发创造力,丰富生活——这是我们每天努力实现的使命。 作为字节跳动的一员,我们努力与优秀的人一起做伟大的事情。我们以好奇心、谦逊和对快速发展的科技公司产生影响的渴望为引导。通过不断迭代和培养“始终是第一天”的心态,我们为自己、公司和用户实现有意义的突破。当我们共同创造和成长时,可能性是无限的。加入我们。 多样性与包容性 字节跳动致力于创造一个包容的空间,在这里员工因其技能、经验和独特视角而受到重视。我们的平台连接来自全球的人们,我们的工作场所也是如此。在字节跳动,我们的使命是激发创造力,丰富生活。为实现这一目标,我们致力于庆祝我们的多样声音,并创造一个反映我们所接触的众多社区的环境。我们对此充满热情,希望您也是如此。 合理便利 字节跳动致力于在招聘过程中为残疾人、怀孕者、真诚持有宗教信仰的人或因适用法律保护的其他原因的候选人提供合理便利。如果您需要帮助或合理便利,请通过 https://tinyurl.com/RA-request 联系我们。