加入Veeva Systems申请AI数据工程师职位。
获取AI驱动的工作建议和更多独家功能。
Veeva Systems是一家使命驱动的组织，是行业云的先驱，帮助生命科学公司更快地将疗法带给患者。作为历史上增长最快的SaaS公司之一，我们在上一个财年收入超过20亿美元，未来有广阔的增长潜力。
Veeva的核心是我们的价值观：做正确的事、客户成功、员工成功和速度。我们不仅仅是一家普通的上市公司——我们在2021年创造了历史，成为了一家公益公司（PBC），在法律上有义务平衡客户、员工、社会和投资者的利益。
作为一家“随处工作”的公司，我们支持您在家或办公室工作，以便您在理想的环境中茁壮成长。
加入我们，转变生命科学行业，致力于对客户、员工和社区产生积极影响。
职位描述
此职位负责通过严格的评估和系统验证方法确保我们Veeva AI代理的可靠性、准确性和安全性。我们正在寻找有经验的候选人，具备：
- 严谨、批判和好奇的思维方式，致力于在快速发展的技术领域中确保产品质量
- 出色的分析和系统解决问题的能力
- 优秀的能力，将技术发现传达给工程和产品管理受众
- 快速学习应用领域的能力
在我们的“随处工作”环境中茁壮成长：我们支持您在加拿大或美国远程或办公室工作，确保在产品团队的时区内无缝协作。
您的工作内容
- 评估策略与规划：为新AI代理定义和建立全面的评估策略。优先考虑测试数据集的完整性和覆盖范围，以反映真实世界的使用和潜在的故障模式。
- LLM输出完整性评估：以编程和手动方式根据预定义的指标（例如，事实准确性、上下文相关性、一致性和安全标准）评估LLM生成内容的质量。
- 创建高保真数据集：设计、策划和生成多样化的高质量测试数据集，包括具有挑战性的提示和场景。评估LLM输出，以主动识别系统偏见、不安全内容、幻觉和关键边缘案例。
- 评估管道自动化：开发、实施和维护可扩展的自动化评估，以确保高效、持续验证代理行为，并防止新功能和模型更新导致的回归。
- 根本原因分析：了解模型行为，并协助追踪和根本原因分析已识别的缺陷或性能下降。
- 报告与绩效指标：清晰记录、跟踪和传达绩效指标、验证结果和错误状态给更广泛的开发和产品团队。
要求
- 数据完整性与验证：对数据质量原则有强烈的专业理解，包括验证数据集的偏见、完整性问题和质量标准的方法。能够制作多样化和对抗性的测试数据，以发现AI的边缘案例。
- 提示工程与模型专业知识：在高级提示工程技术方面表现出色，能够创建测试AI推理、行动计划和遵循系统指令的评估场景。对LLM常见故障模式（幻觉、不连贯、越狱）有深入了解。
- 自动化评估实施：5年以上设计和部署自动化评估管道以评估复杂的代理AI行为的经验。熟悉质量指标，如任务成功率、语义相似性和情感分析用于输出测量。
- 调试代理系统：必须能够应对调试代理系统的特定挑战，包括追踪和解释代理的内部推理、工具使用和行动序列以确定故障点。
- 编程与框架：5年以上使用Python开发自定义评估框架、编写脚本和将管道与CI/CD系统集成的经验。熟悉标准测试自动化工具（例如，Pytest，现代Web自动化工具）。
- 数据科学、机器学习、计算机科学或相关领域的学士学位，具有生成AI/LLM的经验。
- 高工作道德。Veeva是一家勤奋的公司。
- 高诚信和诚实。Veeva是一家PBC和“做正确的事”的公司。我们期望所有员工都具备这些品质。
- 申请人必须有在美国或加拿大工作的无限制权利。Veeva目前不提供赞助。
了解更多
- 工程师视角：考虑Veeva的三个理由
- Veeva的工程
福利与待遇
- 医疗、牙科、视力和基本人寿保险
- 带薪休假和公司支付的假期
- 退休计划
- 1%慈善捐赠计划
薪酬
- 基本工资：85,000 - 225,000加元
- 此处列出的薪资范围是为了遵守当地法规，代表此职位的潜在基本工资范围。请注意，实际工资可能在上述范围内或以下波动，具体取决于经验和地点。我们会根据每个人的独特资格、经验和预期贡献来确定薪酬。此职位可能还符合其他类型的补偿，除了基本工资外，还包括可变奖金和/或股票奖金。
Veeva的总部位于旧金山湾区，在全球超过15个国家设有办事处。
Veeva是一个平等机会的雇主。所有合格的申请人将不分种族、肤色、性别、性取向、性别认同或表达、宗教、国籍或祖籍、年龄、残疾、婚姻状况、怀孕、受保护的退伍军人身份、受保护的遗传信息、政治派别或任何其他受当地法律、法规或条例保护的特征而获得就业考虑。如果您在申请职位或我们的招聘过程中因残疾或特殊需要需要帮助或便利，请联系我们。
推荐可以增加您在Veeva Systems面试的机会2倍。
#J-18808-Ljbffr
