角色 - 数据工程师 经验要求 - 8年以上 主要职责: 设计、开发和部署生成式AI解决方案,包括LLM微调和基于RAG的架构以用于企业用例。 构建和优化从数据摄取到模型部署和监控的端到端ML/DL管道。 使用TensorFlow和PyTorch等框架开发和微调深度学习模型。 应用高级NLP技术处理文本分类、摘要、问答、实体提取和对话式AI等任务。 实施向量数据库和嵌入以用于语义搜索和检索用例。 评估模型性能,进行错误分析,并持续提高准确性、可扩展性和效率。 与产品经理、数据工程师和软件工程师合作,将业务问题转化为AI驱动的解决方案。 紧跟GenAI、LLM、NLP和深度学习领域的最新研究和行业趋势。 所需技能和资格: 扎实的机器学习和深度学习基础(监督、无监督和强化学习概念)。 具有生成式AI模型和LLM微调的实际经验(例如,LoRA、PEFT、提示微调)。 有构建基于RAG系统的经验,包括文档摄取、嵌入生成和检索管道。 深入了解NLP技术和基于Transformer的模型(例如,BERT、GPT、T5、LLaMA)。 精通Python和ML/DL框架,如PyTorch或TensorFlow。 具有向量数据库经验(例如,FAISS、Pinecone、Weaviate、Milvus)。 对模型评估、优化和实验有扎实理解。 有云平台(AWS、Azure或GCP)和ML部署工作流的经验。 具备强大的问题解决、分析和沟通能力。 优先/良好具备: 有MLOps工具和实践经验(CI/CD、模型监控、版本控制)。 了解分布式训练和性能优化。 有处理大规模非结构化数据的经验。 熟悉AI伦理、偏见和负责任的AI实践。