你 是否 对 复杂 的 数据 环境、 高 性能 架构 感到 热情, 并 希望 将 你的 专业 知识 应用于 前沿 的 IA 项目? 加入 我们!
🔎 你 在 LittleBigCode 的 角色
在 一个 面向 HPC(高 性能 计算) 的 OnPremise 环境 中, 以及 大 型 GPU 集群, 你 将 参与 复杂 数据 流 水线 的 设计、 优化 和 工业化, 涉及 音频/视频 和 IA 领域。
你的 任务 包括:
• 架构与开发: 设计 强大且 可扩展 的 数据 流 水线, 使用 Airflow 进行 协调, 并 基于 Trino、 Iceberg、 PostgreSQL 和 Minio 构建。
• 工业化: 使用 Docker 进行 容器化, 通过 Kubernetes 部署, 使用 Jenkins 进行 CI/CD, 以及 进行 性能 监控(使用 Prometheus 和 Grafana)。
• IA 合作: 每天 与 专注于 ML、 DL 和 GenAI 的 数据 科学家 进行 互动, 确保 模型 和 生产 之间 的 顺畅 流动。
• 音频/视频 与 开源: 参与 与 多媒体 数据 相关 的 项目, 并 为 开源 解决方案 做出 贡献。