AI/MLOps工程师
22个月合同
混合角色 > 每周2-4天在奥兰多FL、格伦代尔CA、阿纳海姆CA或西雅图WA现场工作
职位描述
寻找一位AI/ML运营专业人士担任以下角色 -
总体职责
• 管理GCP、Azure和AWS上的模型部署、更新和版本控制的操作流程。
• 监控模型性能指标：延迟、吞吐量、错误率、令牌使用和推理质量。
• 跟踪模型漂移、准确性下降和性能异常，必要时向工程团队报告。
• 支持知识库操作，包括向量嵌入管道健康、块质量和Vertex AI中的刷新周期。
• 在多云环境中维护模型库存和文档。
• 与负责任的AI和核心工程团队协调模型评估周期。
代理和MCP服务器操作
• 监控AI代理的健康、性能和可靠性（基于AutoGen的代理、MCP服务器）
• 跟踪代理执行指标：任务完成率、工具调用成功/失败、延迟和错误模式。
• 支持代理部署和配置管理工作流程。
• 记录代理行为、已知问题和操作手册。
• 与核心工程团队协调代理更新、测试和发布。
• 监控MCP服务器的可用性、连接健康和集成状态。
FinOps和成本管理
• 跟踪和分析GCP（Vertex AI）、Azure（OpenAI）和AWS（Bedrock）的AI/ML云支出。
• 构建成本仪表板，按模型、应用团队、用例和环境进行细分。
• 监控令牌消耗、推理成本和嵌入/存储成本。
• 识别成本优化机会——模型选择、缓存、批处理、调整大小。
• 为消费应用团队提供成本分配报告以进行费用分摊/展示。
• 预测支出趋势并标记预算异常。
• 与基础设施和财务团队合作进行AI成本治理。
监控、仪表板和报告
• 构建和维护平台性能、模型健康、代理指标和操作KPI的仪表板。
• 创建关于平台采用、使用趋势和成本分配的高管和利益相关者报告。
• 开发负责任的AI仪表板，跟踪幻觉率、准确性指标、护栏触发和安全事件。
• 监控APIGEE网关流量模式和API消费趋势。
• 定期向产品管理提供用例性能报告。
发布操作支持
• 支持发布管理流程，进行部署前/后验证检查。
• 跟踪模型、代理和平台组件的发布健康指标。
• 维护发布文档、手册和操作手册。
• 在发布期间与QA、性能工程和基础设施团队协调。
AI操作
• 监控护栏的有效性，并向负责任的AI团队报告异常。
• 跟踪和报告幻觉检测、内容安全触发和准确性趋势。
• 通过收集和组织评估数据支持LLM红队工作。
• 维护AI治理的审计日志和合规文档。
跨职能协调
• 作为消费DxT AI API的应用团队的操作联系人。
• 与公司安全部门协调审计请求和合规报告。
• 与基础设施团队合作进行容量跟踪和资源利用。
• 支持性能工程团队进行负载测试分析和结果文档化。
基本资格
• 2-4年Ops、分析或技术运营角色经验（MLOps、AIOps、DataOps、平台Ops或类似）
• 理解AI/ML概念：模型、推理、嵌入、向量数据库、LLM、令牌、提示。
• 具有云成本管理和FinOps经验——跟踪、分析和优化云支出。
• 熟练使用仪表板和可视化工具（Looker、Tableau、Grafana或类似）
• 具备GCP的工作知识（必需）；熟悉Azure和AWS者优先。
• 熟悉SQL和基本Python进行数据分析和脚本编写。
• 具有监控和可观察性平台经验（Datadog、Prometheus/Grafana、云监控或类似）
• 理解API和API网关——能够读取日志、跟踪请求、分析流量。
• 具备强大的分析和解决问题的能力，注重细节。
• 优秀的沟通能力——能够将技术指标转化为利益相关者的见解。
• 计算机科学、BIS、MIS、电气工程、机械工程或类似专业的学士学位。
优先资格
• 具有LLM平台的实际操作经验：Vertex AI、Azure OpenAI、AWS Bedrock
• 熟悉AI代理和代理架构（AutoGen、LangChain或类似）
• 接触过MCP（模型上下文协议）或代理工具集成模式。
• 具有向量数据库和RAG（检索增强生成）操作经验。
• 理解MLOps生命周期：模型注册、版本控制、部署模式、A/B测试
• 具有APIGEE或类似API管理平台经验。
• 熟悉负责任的AI指标——幻觉、偏见、内容安全、护栏。
• 具有FinOps认证或正式的云成本管理经验。
• 具有支持企业平台团队的经验，涉及多个消费应用。
• 熟悉ML管道工具（Kubeflow、MLflow、Vertex AI Pipelines）
• 接触过提示管理和评估框架。
• 具有ITIL或操作流程框架经验。
• 具有创建操作手册和操作文档的经验。
教育
计算机科学、商业信息系统、管理信息系统、电气工程、机械工程或类似专业的学士学位
该职位在佛罗里达州的预计薪资范围为每小时70.00美元至77.50美元，在加利福尼亚州/华盛顿州为每小时85.00美元至91.00美元。具体薪酬和雇佣报价取决于与工作相关的知识、技能、经验、执照或认证以及地点。我们还提供全面的福利。人才招聘合作伙伴可以在面试过程中分享有关该职位薪酬或福利的更多详细信息。
