该范围由Mercor提供。您的实际薪酬将基于您的技能和经验——与您的招聘人员交谈以了解更多信息。
基本薪酬范围
$100.00/小时 - $120.00/小时
直接向Mercor的职位发布者发送消息
关于这份工作
Mercor将精英创意和技术人才与领先的AI研究实验室连接起来。公司总部位于旧金山，我们的投资者包括Benchmark、General Catalyst、Peter Thiel、Adam D'Angelo、Larry Summers和Jack Dorsey。
职位：AI任务评估与统计分析专家
类型：合同
薪酬：$100–$120/小时
地点：远程
角色职责
• 进行全面的统计故障分析，以识别AI代理在任务组件（如提示、评分标准和模板）中的故障模式。
• 执行根本原因分析，以确定故障是由于任务设计、评分标准清晰度、文件复杂性还是代理限制造成的。
• 分析财务子领域、文件类型和任务类别的性能变化，以增强对AI模型性能的理解。
• 创建仪表板和报告，以突出故障集群、边缘案例和改进机会。
• 根据统计结果推荐任务设计、评分标准结构和评估标准的改进。
• 向数据标注专家和技术团队展示见解，以促进合作并推动改进。
资格
必备条件
• 统计专业知识：在统计分析、假设检验和模式识别方面有扎实的基础。
• 编程：熟练使用Python（pandas、scipy、matplotlib/seaborn）或R进行数据分析。
• 数据分析：具有探索性数据分析经验，并能从复杂数据集中创建可操作的见解。
• AI/ML熟悉度：了解LLM评估方法和质量指标。
• 工具：熟练使用Excel、数据可视化工具（Tableau/Looker）和SQL。
优先条件
• 具有AI/ML模型评估或质量保证经验。
• 具有金融背景或愿意学习金融领域概念。
• 具有多维故障分析经验。
• 熟悉基准数据集和评估框架。
• 2-4年相关经验。
申请流程（需20-30分钟完成）
• 上传简历
• 基于您的简历进行AI面试
• 提交表格
资源与支持
• 有关面试流程和平台信息的详细信息，请查看：https://talent.docs.mercor.com/welcome/welcome
• 如需任何帮助或支持，请联系：support@mercor.com
附注：我们的团队每天都会审核申请。请完成您的AI面试和申请步骤，以便被考虑这个机会。
资历水平
不适用
就业类型
兼职
工作职能
分析师
行业
软件开发
