机器学习研究科学家 - Cerebras Systems招聘

Cerebras的系统专注于机器学习。我们的处理器是Wafer Scale Engine（WSE），一颗单芯片的性能相当于数十个GPU，使用户能够以编程单一设备的简单性获得集群级别的能力。由于编程的简单性，可以使用简单的数据并行性将大型模型训练扩展到数千个GPU的性能。机器学习从业者可以专注于他们的机器学习，而不是将他们的应用程序并行化和分布到许多设备上。凭借尖端硬件和深入的机器学习专业知识的罕见结合，我们是少数几个能够进行大规模创新深度学习研究的全球组织之一。职位描述 Cerebras招聘高级和初级研究科学家，专注于与这种独特专用架构的协同设计和演示最新的ML算法。我们正在研究领域包括提升和扩展自然语言处理和多模态应用的基础模型，新的权重和激活稀疏算法，以及新颖高效的训练技术。我们团队的一个重要责任是确保最先进的技术可以系统地应用于许多重要应用中。作为核心ML团队的一部分，您将有机会作为一个合作紧密的团队的一部分研究最先进的模型。我们展示Cerebras能力的重要演示以及将我们的发现发布出来以支持和与社区互动是我们的关键任务。高级职位的一个关键方面还将是为其他才华横溢的科学家和工程师提供积极的指导和指导。研究方向我们的研究重点是通过研究与Cerebras架构独特的许多维度有关的内容，改进NLP、计算机视觉和多模态设置中最先进的基础模型。 - 预测和分析大规模训练改进的扩展定律：准确性/损失、架构扩展和超参数传递 - 用于减少训练时间和提高准确性的稀疏和低精度训练算法。例如，权重和激活稀疏性、专家混合和低秩适应。 - 优化器、初始化器、规范化器以提高训练动力学和效率以下是我们最近的一些出版物和发布的示例： - Cerebras-GPT：第一个开源计算优化的LLM模型套件，高达13B [论文] [huggingface] - BTLM：最先进的3B LLM，性能为7B- Hugging Face上最受欢迎的3B模型 [论文] [huggingface] - SlimPajama：一个627B令牌的清洁和去重版本的RedPajama [博客] [huggingface] - 稀疏预训练，稠密微调：稀疏GPT模型高达6.7B，与密集的下游准确性匹配 [论文] - 稀疏-IsoFLOP转换：在相同计算下创建更大的稀疏模型，同时提高准确性 [论文] 职责 - 开发改进模型质量和计算效率的新型训练算法 - 设计和运行研究实验，展示新算法的高效性和鲁棒性 - 分析结果以获得研究洞察，包括训练动态、梯度质量和数据集预处理技术 - 在领先的机器学习会议上发布和展示研究成果 - 与工程师合作，共同设计产品，将研究应用于客户要求 - 对机器学习理论、基础知识、线性代数和统计学有深刻理解 - 有使用GPT、LLaMA、DaLL-E、PaLI或Stable Diffusion等最先进模型的经验 - 有使用TensorFlow和PyTorch等机器学习框架的经验 - 在顶级会议或期刊（如ICLR、ICML、NeurIPS）上发表相关研究成果的强大记录，或者拥有专利和专利申请加分项 - 有分布式训练概念和框架（如Megatron、Deepspeed和/或FairSeq FSDP）的经验 - 有训练速度优化的经验，例如将模型架构转换为目标硬件，或者进行低级别的内核开发为什么加入Cerebras 关于认真对待软件的人会制造自己的硬件。在Cerebras，我们建立了一种突破性的架构，为AI行业开辟了新的机会。凭借数十个模型发布和快速增长，我们已经达到了业务的拐点。我们团队的成员告诉我们，他们加入Cerebras的主要原因有五个： - 构建超越GPU限制的突破性AI平台 - 发表和开源他们的前沿AI研究 - 在世界上最快的AI超级计算机上工作 - 在初创公司的活力中享受工作稳定性 - 我们简单、非企业化的工作文化尊重个人信仰阅读我们的博客：加入Cerebras的五个理由。立即申请，成为AI领域突破性进展的前沿人物。 Cerebras Systems致力于创造一个平等和多样化的环境，自豪地成为一个机会均等的雇主。我们欢庆不同的背景、观点和技能。我们相信包容性团队能够构建更好的产品和公司。我们每天努力创造一个通过持续学习、成长和支持周围人来激励人们发挥最佳水平的工作环境。本网站或其第三方工具处理个人数据。有关更多详细信息，请点击此处查看我们的CCPA披露通知。