职位描述
职位名称：高级数据工程师
工作地点：混合办公 – 每周2-3天在多伦多办公室
注意：只有经验与要求紧密匹配的候选人会被联系
关于我们的客户
我们的客户是一支快速行动、以创新为驱动的团队，位于多伦多，嵌入在加拿大蓬勃发展的人工智能生态系统中。
他们专注于将雄心勃勃的概念转化为高影响力的现实解决方案。
他们的工作涵盖智能自动化、战略预测和代理平台，这些平台简化了复杂的工作流程并释放了商业价值。
从快速原型到由联盟主导的倡议，他们正在塑造采购和决策智能的未来。
加入他们，成为一个重视速度、创造力和目标的团队的一员——提供重要的人工智能。
您的角色和职责
我们正在寻找一位经验丰富的高级数据工程师加入我们客户的团队，在构建和管理大规模数据管道方面发挥关键作用，重点支持大型语言模型（LLM）和基于代理的应用程序的开发。
除了您的技术专长，您还将管理和指导初级数据工程师，帮助他们成长，同时确保团队内数据工程实践的高标准。
职责：
- 领导和管理：监督初级数据工程师的工作，提供指导和建议，以推动项目的成功执行。
- 开发数据管道：设计和实施可扩展且可靠的数据管道，以处理LLM和代理应用程序日益复杂和庞大的数据。
- LLM和生成式AI应用支持：开发和优化数据基础设施，以满足预测建模、机器学习和生成式AI应用的需求。
- 跨团队协作：与数据科学家、机器学习工程师和业务利益相关者密切合作，了解数据需求并提供高质量的数据解决方案。
- 数据集成：使用API和其他技术从各种结构化和非结构化数据源中提取、转换和加载（ETL）大型数据集。
- 文档和最佳实践：为数据工程工作流、管道和流程创建和维护清晰简洁的技术文档。
- 指导和成长：通过指导初级团队成员在数据工程中的最佳实践、新技术和方法，营造协作环境。
资格：
- 计算机科学、工程或相关领域的学士学位。高级学位是加分项。
- 5年以上数据工程或相关角色的经验，其中至少2年从事LLM、基于代理的应用程序或类似高级机器学习技术的经验。
- 数据工程技术的熟练程度：在构建数据管道方面具备高级SQL、Python和ETL框架技能。
- API和数据集成经验：在使用API从多个来源提取、转换和加载数据方面具有丰富经验，包括结构化和非结构化数据格式（例如JSON、XML）。
- 机器学习和AI专业知识：熟悉机器学习模型，包括大型语言模型（LLM）和生成式AI技术，并了解如何构建和优化数据管道以支持这些应用。
- 数据存储和建模：对结构化和非结构化数据的数据建模和存储解决方案有深入了解，以及Google BigQuery和Azure Data Lake等云数据技术。
- 领导力和沟通能力：具备指导和领导初级工程师的强大领导能力。优秀的沟通和协作能力，以跨职能团队合作。
- 问题解决能力：证明有能力解决复杂的数据挑战，重点关注数据优化、性能和质量保证。
