Veeva Systems 是一家以使命为驱动的组织，是行业云的先锋，帮助生命科学公司更快地将疗法带给患者。作为历史上增长最快的 SaaS 公司之一，我们在上一个财政年度的收入超过了 20 亿美元，并且前景广阔。
Veeva 的核心价值观是：做正确的事、客户成功、员工成功和速度。我们不仅仅是一家上市公司——在 2021 年，我们通过成为一家公共利益公司 (PBC) 创造了历史，法律上有责任平衡客户、员工、社会和投资者的利益。
作为一家支持远程工作的公司，我们支持您在家或办公室灵活工作的选择，以便您在理想的环境中蓬勃发展。
加入我们，改变生命科学行业，致力于对客户、员工和社区产生积极影响。
角色
该角色负责通过严格的评估和系统的验证方法，确保我们的 Veeva AI 代理的可靠性、准确性和安全性。我们正在寻找具有以下条件的经验丰富的候选人：
• 细致、批判性和好奇的思维方式，致力于在快速发展的技术领域保持产品质量
• 出色的分析和系统性解决问题的能力
• 能够将技术发现有效地传达给工程和产品管理团队
• 能够快速学习应用领域
在我们的远程工作环境中蓬勃发展：我们支持您在加拿大或美国的办公室或远程工作，确保与您产品团队的时区无缝协作。
加入我们，成为改变生命科学行业的使命驱动组织的一部分。
您将做的事情
• 评估策略与规划：定义和建立新 AI 代理的全面评估策略。优先考虑测试数据集的完整性和覆盖率，以反映现实世界的使用情况和潜在故障模式
• LLM 输出完整性评估：程序化和手动评估 LLM 生成内容的质量与预定义指标（例如，事实准确性、上下文相关性、一致性和安全标准）
• 创建高保真数据集：设计、策划和生成多样化的高质量测试数据集，包括挑战性提示和场景。评估 LLM 输出，主动识别系统偏见、不安全内容、幻觉和关键边缘案例
• 评估管道的自动化：开发、实施和维护可扩展的自动化评估，以确保对代理行为的高效、持续验证，并防止新功能和模型更新带来的回归
• 根本原因分析：理解模型行为，协助追踪和根本原因分析已识别的缺陷或性能下降
• 报告与绩效指标：清晰记录、跟踪和沟通绩效指标、验证结果和缺陷状态，以便与更广泛的开发和产品团队共享
要求
• 数据完整性与验证：对数据质量原则有深入的、专业的理解，包括验证数据集以应对偏见、完整性问题和质量标准的方法。能够制作多样化和对抗性的测试数据，以揭示 AI 的边缘案例
• 提示工程与模型专业知识：在高级提示工程技术方面具有证明的技能，以创建评估场景，测试 AI 的推理、行动规划和遵循系统指令的能力。对 LLM 常见故障模式（幻觉、不连贯、越狱）有深入了解
• 自动化评估实施：精通设计和部署自动化评估管道，以评估复杂的代理 AI 行为。熟悉质量指标，例如任务成功率、语义相似度和情感分析，以进行输出测量
• 调试代理系统：必须能够应对调试代理系统的特定挑战，包括追踪和解释代理的内部推理、工具使用和行动顺序，以确定故障点
• 编程与框架：精通 Python，用于开发自定义评估框架、编写脚本和将管道与 CI/CD 系统集成。熟悉标准测试自动化工具（例如，Pytest、现代网络自动化工具）
• 数据科学、机器学习、计算机科学或相关领域的学士学位，具有生成 AI / LLMs 的经验
• 高度的工作伦理。Veeva 是一家努力工作的公司
• 高度的诚信和诚实。Veeva 是一家 PBC 和“做正确的事”的公司。我们对所有员工都有这样的期望
• 申请者必须在美国或加拿大拥有无限制的工作权利。Veeva 目前不会提供赞助
了解更多
• 工程师视角：考虑 Veeva 的 3 个理由
• Veeva 的工程
福利与待遇
• 医疗、牙科、视力和基本人寿保险
• 带薪休假和公司支付的假期
• 退休计划
• 1% 慈善捐赠计划
薪酬
• 基本工资：85,000 - 225,000 加元
• 此处列出的薪资范围是为了遵守当地法规，并代表该角色的潜在基本薪资范围。请注意，实际薪资可能在上述范围内或以下，根据经验和地点而有所不同。我们会根据每个人的情况来考虑薪酬，并根据您的独特资格、经验和预期贡献来制定报价。此职位还可能有资格获得除基本工资外的其他类型的补偿，例如可变奖金和/或股票奖金。
Veeva 的总部位于旧金山湾区，在全球 15 个以上国家设有办事处。
Veeva 是一家平等机会雇主。所有合格的申请者在就业时将不受种族、肤色、性别、性取向、性别身份或表现、宗教、国籍或祖先、年龄、残疾、婚姻状况、怀孕、受保护的退伍军人身份、受保护的遗传信息、政治派别或任何其他当地法律、法规或条例保护的特征的影响。如果您在申请角色或我们的招聘过程中由于残疾或特殊需要需要帮助或便利，请通过 talent_accommodations@veeva.com 联系我们。
