关于 Laivly 我们正在寻找好奇和富有创造力的人才！我们是一家雄心勃勃的创新公司，致力于构建和塑造客户服务技术的未来。我们的解决方案帮助全球最大的品牌在其联络中心利用人工智能、机器学习和数字自动化，提供更好的客户体验。在一支经验丰富的联络中心专家团队的带领下，Laivly 满足客户服务项目的独特需求和挑战，强调人工智能的伦理和客户服务代理的体验。关于这个职位 Laivly 团队正在寻找一位高级机器学习科学家与工程师，负责我们 LLM 驱动功能的提示优化和验证工作。作为高级机器学习科学家与工程师，您将与工程和产品团队紧密合作，设计稳健、准确和可扩展的实验和监控系统，以支持人工智能功能的安全可靠部署。您将负责提示的端到端设计和评估，构建合成数据集，并开发发布前和发布后的验证框架，以衡量性能、安全性和成本效益。这个远程职位向所有加拿大居民开放。职责 • 领导提示设计、优化、版本控制和文档编制 • 生成和维护合成数据集，以进行发布前验证和测试 • 设计和运行实验，以测量 LLM 行为的准确性、稳健性和安全性 • 定义和监控关键指标，如幻觉率、延迟、令牌成本和回归风险 • 构建评估管道、仪表板和漂移检测工具 • 实施严格的统计方法，生成具有效应大小和置信区间的可重复报告 • 调查生产中的回归或提示失败，并与利益相关者协调缓解措施 • 与跨职能团队合作，进行模型集成、速率限制和成本控制 • 维护提示库、测试套件和操作手册资格 • 计算机科学、计算语言学、统计学或相关领域的学士学位；优先考虑硕士学位 • 2 年以上直接与 LLM、提示设计或生产中的应用 NLP 工作的经验 • 使用程序生成或控制抽样创建合成数据集的经验 • 深入了解实验设计、统计推断和效能分析 • 较强的 Python 编程技能，熟悉统计/机器学习框架 • 有定义模型输出可观察性和构建警报系统的经验 • 熟悉云环境（AWS、Azure）、Kubernetes 和生产部署实践 • 精通 SQL，并有可重复分析管道的经验 • 优秀的沟通能力和强大的文档编写能力在 Laivly Laivly 为您提供与创造性、多样化和充满激情的团队合作和发展职业生涯的机会。我们努力工作，常常玩乐，提供一个与您相适应的灵活环境。在 Laivly 工作意味着成为一个热爱乐趣、专注的创意、冒险者和变革者团队的一部分。分享您的才能和想象力，开发创新技术，彻底改变顶级品牌与世界互动的方式。我们有一个共同的使命——一个 Laivly 的未来。今天就加入我们吧！平等就业机会 Laivly 根据所有省和联邦法律提供平等就业机会。Laivly 致力于确保在就业的各个方面提供平等机会，不会基于受保护特征进行歧视。无障碍 Laivly 致力于为残疾人士提供便利。如果您在申请过程的任何阶段需要便利或想了解我们的便利政策，请告诉我们。

高级机器学习科学家与工程师

Fig