关于该职位
West Monroe正在寻找一位具有创新精神和注重细节的高级提示工程师，以支持在Google Cloud Platform (GCP)上的Agentic AI平台的用例开发。此角色将专注于准备和构建输入数据和上下文，设计和完善提示和模式，并调整提取和推理行为，以确保AI代理生成准确、一致和可审计的输出。
职责
- 收集、整理和构建AI代理有效执行所需的输入数据和上下文信息。
- 开发策略以优化输入数据的质量和相关性，确保其符合特定用例要求。
- 与数据工程师和领域专家合作，确保数据源干净、一致，并适当格式化以用于AI提示。
- 设计、测试和完善提示和模式，以指导AI代理的行为和输出。
- 创建模块化和可重用的提示模板，可在不同用例中进行调整。
- 与解决方案架构师和利益相关者密切合作，使提示与业务目标和期望结果保持一致。
- 试验各种提示结构、措辞和配置，以实现最佳代理性能。
- 微调AI代理的提取和推理能力，以确保输出准确、一致，并符合预期。
- 制定策略以提高代理处理模糊性、不完整数据和复杂推理任务的能力。
- 使用反馈循环和迭代测试不断提高代理的性能和可靠性。
- 确保输出可审计，提供清晰的可追溯性，以了解代理如何得出结论。
- 对提示和代理行为进行严格测试，以识别和解决偏差、不一致或不准确等问题。
- 开发自动化测试框架，以验证代理在各种场景和边缘情况下的输出。
- 记录发现并提供可操作的建议以提高代理的性能。
- 与跨职能团队合作，包括数据科学家、工程师和业务利益相关者，以统一用例要求和目标。
- 作为提示工程的主题专家，提供关于利用AI代理的最佳实践的指导。
- 向技术和非技术受众传达结果、挑战和改进。
要求
- 提示工程：在设计、完善和优化大型语言模型（如GPT、PaLM或类似模型）的提示和系统指令以驱动可靠推理和任务性能方面具有丰富经验。
- 上下文设计和模式：在使用RAG、提示链、记忆窗口和模式驱动的上下文对齐等模式构建和管理上下文方面具有专业知识。
- AI/ML和NLP基础：对NLP、推理模型和LLM行为有深入理解，以指导提示策略和故障缓解。
- 数据结构化和预处理：在准备和转换输入数据方面具有专业知识，包括文本预处理、模式设计和基础策略。
- Google Cloud Platform (GCP)：具有使用GCP服务（如Vertex AI、BigQuery及相关GCP AI/ML服务）部署和评估提示驱动系统的经验。
- 编程和自动化技能：熟练使用Python或类似编程语言进行原型设计、测试、评估工具和提示自动化。
- 需在纽约市现场混合办公。
- 具备强大的分析和问题解决能力，以微调代理行为并解决不一致问题。
- 具有使用测试框架和方法验证AI输出在不同场景中的经验。
- 能够识别和缓解与AI代理中的偏差、模糊性或不完整推理相关的问题。
- 优秀的沟通能力，能够向技术和非技术利益相关者解释技术概念和结果。
- 证明能够在跨职能团队中协作工作，包括数据科学家、工程师和业务用户。
- 强大的文档编写能力，以确保提示工程过程的透明性和可重复性。
加分项
- 具有使用大型语言模型（LLM）如OpenAI的GPT、Google的PaLM或类似模型的经验。
- 熟悉用于管理AI生命周期的MLOps实践和工具。
- 了解确保公平性、透明性和责任的伦理AI原则和技术。
- 拥有Google Cloud认证（如专业机器学习工程师、专业数据工程师）。
福利
- 员工及其家属享有医疗、牙科、视力和基本人寿保险。
- 员工可以加入公司的401k计划，从员工持股计划中购买股份，并有资格获得年度奖金。
- 员工还将获得无限制的灵活休假和全年十个带薪假期。
- 入职后还可享受十周的带薪育儿假。
