DevOps工程师 - 数据运维

圣弗朗西斯科 3天前全职 网络
面议
我们正在招聘: DevOps 工程师 – DataOps(旧金山湾区) 你是否对将复杂的想法转化为简洁、响应迅速的界面感到兴奋?我们正在构建下一代的网络应用程序,并寻找一位 DataOps 工程师,通过构建可扩展的数据平台来提高开发人员的生产力。你将打造可扩展的高性能企业平台,让用户感到轻松,与设计师和后端工程师并肩工作,将愿景转化为优雅且易于维护的解决方案。 关于我们 我们是一家资金充足的 AI 初创公司(2500 万美元种子轮),位于旧金山湾区,由在网络安全领域拥有数十年成功经验的连续创业者领导(实现了超过 30 亿美元的估值)。我们拥有付费客户,并与财富 500 强公司合作,致力于通过尖端 AI(包括 AI 代理和生成式 AI)来改变网络安全格局。 为什么这个角色很重要 这个角色专注于自动化工作流程、提高平台可靠性,并通过高效的开发和部署实践支持数据工程团队。在一个数字体验塑造信任和采用的世界中,DataOps 提高了开发生产力,直接推动了产品成功和客户信心。 你的工作内容 - 设计、部署和操作可扩展的数据平台和管道,主要在 Azure(Databricks、ADF、ADLS)上 - 构建、管理和优化 Apache Spark 集群和工作负载,以处理 Azure 和 AWS 环境中的批处理和流数据 - 使用 Azure DevOps/GitHub Actions 为数据工程代码、Spark 作业和管道配置实现 CI/CD 管道 - 使用基础设施即代码(Terraform)自动化基础设施,并使用 Docker 和 Kubernetes 管理容器化工作负载 - 监控数据管道和平台,以确保数据在 Azure 和 AWS 数据平台上的可靠性、质量、可观察性和成本优化 - 在以 Azure 为主的多云环境中,与数据工程师和平台团队密切合作,执行安全、治理和最佳实践 我们寻找的对象 - 在数据工程、数据 DevOps 或数据平台工程角色中拥有 6 年以上的专业经验 - 在企业环境中支持生产级数据平台的经验 - 设计、构建、部署和维护可扩展数据管道(ETL/ELT)的能力 - 对 Apache Spark 的批处理和流工作负载有深入了解 - 创建、配置和管理 Spark 集群的经验,包括性能调优和成本优化 - 至少具备一个主要云提供商的实际经验:AWS、Azure 或 GCP - 使用 Terraform 进行基础设施自动化的丰富经验 - 诊断和解决系统和基础设施问题的能力 - 加分技能:在 Azure Databricks 或 Azure Synapse 上部署和管理 Spark 工作负载的经验 为什么加入我们? - 早期阶段的影响力,拥有 2500 万美元的种子资金稳定性 - 在 AI、工程和产品领域的世界级领导力 - 已经与财富 500 强公司取得进展 - 具有竞争力的薪酬和股权 - 健康、保健和职业发展福利 - 使用最新的 AI/ML 开发工具 工作地点 – 圣何塞,加州(每周 5 天在办公室,创始团队) 让我们一起构建网络安全的未来 如果你对 AI、企业网络安全以及从零开始塑造一个类别感到兴奋,我们很想听到你的声音。