我们正在寻找一位经验丰富的高级AI应用测试工程师加入我们的团队。此职位要求在测试AI驱动的应用程序方面具有深厚的专业知识，特别是会话AI和基于RAG（检索增强生成）的系统。您将负责确保我们AI解决方案在整个应用生命周期中的质量、可扩展性和可靠性。
主要职责
• 设计并执行针对AI/ML应用的全面测试策略，重点关注会话AI和基于RAG的系统
• 领导AI应用从开发到生产部署和扩展的端到端测试
• 开发和实施测试框架，用于评估LLM输出、检索准确性和响应质量
• 测试AI模型的性能、准确性、偏差、幻觉和边缘案例
• 验证RAG架构中的数据管道、向量数据库和嵌入质量
• 对处理大规模数据的AI应用进行可扩展性和性能测试
• 建立特定于AI应用测试的质量指标和KPI
• 与数据科学家、ML工程师和开发人员合作定义可测试的需求
• 指导初级QA团队成员关于AI测试方法
所需技术技能
• AI/ML测试：5年以上测试AI应用、会话AI系统、聊天机器人和基于RAG解决方案的实际经验
• Azure专业知识：对Azure AI服务有深入了解，包括Azure OpenAI、Azure ML、认知服务、Azure AI搜索及相关组件
• 测试框架：熟练使用自动化测试工具和框架（Selenium、Playwright、PyTest等）
• 编程：具备强大的Python编码技能；有测试自动化脚本经验
• AI测试工具：有LLM评估框架、提示测试和AI特定质量指标的经验
• 数据测试：了解测试数据管道、ETL过程和向量数据库
• 性能测试：有负载测试AI端点和监控模型推理性能的经验
• CI/CD：熟悉Azure DevOps、GitHub Actions和自动化测试管道
优先资格
• 有测试Azure OpenAI实施和自定义GPT应用的经验
• 了解MLOps实践和模型监控
• 理解NLP、嵌入和语义搜索概念
• 熟悉提示工程和LLM最佳实践
• 具备敏捷/Scrum方法论经验
• 曾在企业规模的AI部署中工作
软技能
• 优秀的分析和解决问题的能力
• 强大的沟通和协作能力
• 能够在快节奏、创新的环境中工作
• 注重细节，具有质量优先的心态
• 自我激励，积极识别测试差距
Halian集团：
凭借超过28年的经验，我们深知创新是提供敏捷、实用解决方案以改变业务和职业的唯一途径。
我们的资源和智能服务帮助您实现明天的潜力。当您将合适的人才和技术结合在一起时，发现可能实现的惊人事情。
在Halian，我们认识到多样性、公平性和包容性（DEI）对于为我们的客户建立高绩效团队至关重要。我们致力于将各类背景的顶尖人才与组织连接，确保每个人都感到被重视、尊重，并有能力贡献其独特的观点。我们鼓励所有合格候选人申请，无论种族、性别、残疾或任何其他使他们独特的特征。通过促进多元化和包容性的工作场所，我们帮助客户推动创新、增强协作，并更好地反映他们所服务的社区。
#LI-CC1
