提示评估员

13天前全职
86.9万 - 106.2万 / 年 Innodata Inc.

Innodata Inc.

location 伦敦
unsaved
我们正在寻找具有高度分析能力的专业人士,具备红队评估、提示评估和人工智能/大语言模型质量保证的实际经验。 主要职责: • 进行严格的红队演练,以识别大型语言模型(LLMs)生成的对抗性、有害或不安全的输出。 • 在多个领域(例如,金融、医疗、安保)评估和压力测试AI提示,以发现潜在的故障模式。 • 开发并应用测试用例,以评估AI生成响应的准确性、偏见、毒性、幻觉和误用潜力。 • 与数据科学家、安全研究人员和提示工程师合作,报告风险并提出缓解建议。 • 在模型版本之间执行手动质量保证和内容验证,确保事实一致性、连贯性和遵循指导方针。 • 创建评估框架和评分标准,以评估提示的表现和安全合规性。 • 以高度清晰和结构化的方式记录发现、边缘案例和漏洞报告。 要求: • 在AI红队评估、LLM安全测试或对抗性提示设计方面有证明的经验。 • 熟悉提示工程、自然语言处理任务及生成AI中的伦理考虑。 • 在质量保证、内容审查或AI/ML系统的测试用例开发方面有较强的背景。 • 理解LLM行为、故障模式和模型评估指标。 • 优秀的批判性思维、模式识别和分析写作能力。 • 能够独立工作,遵循详细的评估协议,并在紧迫的截止日期内完成任务。 优先资格: • 之前与OpenAI、Anthropic、Google DeepMind或其他LLM安全项目团队合作的经验。 • 在风险评估、红队安全测试或AI政策与治理方面的经验。 拥有语言学、心理学或计算伦理学的背景者优先。