软件工程师,企业数据平台

圣弗朗西斯科 2天前全职 网络
面议
关于我们: Notion 帮助您为生活工作构建美丽的工具。在当今无尽的应用程序和标签世界中,Notion 提供了一个让团队完成所有工作的地方,无缝连接文档、笔记、项目、日历和电子邮件,并内置 AI 来寻找答案和自动化工作。数百万用户,从个人到像丰田、Figma 和 OpenAI 这样的大型组织,都因其灵活性而钟爱 Notion,并选择它是因为它帮助他们节省时间和金钱。 面对面的协作是 Notion 文化的重要组成部分。我们要求所有团队成员在周一、周二和周四,即我们指定的锚定日,从我们的办公室工作。某些团队或职位可能需要额外的办公室工作日。 关于职位: 加入 Notion 的数据平台团队,随着我们为企业客户扩展基础设施。您将帮助设计和构建支持 Notion 的 AI、分析和搜索的核心数据平台,同时满足严格的安全、隐私和合规要求。此角色专注于数据平台层(存储、计算、管道、治理),并与安全、搜索平台、AI 和数据工程密切合作。 您的工作内容: - 设计和发展数据湖仓 构建和运营核心湖仓组件(例如 Iceberg/Hudi/Delta 表、目录、模式管理),作为分析、AI 和搜索的真实来源。 - 拥有关键数据管道和服务 设计、实施和强化批处理和流式管道(Spark、Kafka、EMR 等),可靠地跨区域和单元移动和转换数据。 - 推进 EKM 和设计加密 与安全和平台团队合作,将企业密钥管理(EKM)集成到数据工作流中,包括文件和记录级别的加密以及在 Spark 和存储系统中的安全密钥处理。 - 改善数据访问、可审计性和驻留性 构建用于细粒度访问控制、审计和数据驻留的原语,以便客户可以看到谁在何处和在何种保证下访问了什么。 - 提高可靠性和可观察性 提高我们数据堆栈的运营标准:改善数据作业和服务的值班体验、调试和警报。 - 优化大规模性能和成本 解决 Kafka、Spark 和存储在非常大工作空间(20k+ 用户,多单元部署)中的性能和成本挑战,包括集群迁移和工作负载调优。 - 启用 ML 和搜索工作流 构建基础设施以支持训练和推理管道、排名工作流和在共享数据平台之上的嵌入基础设施。 - 塑造平台路线图 贡献设计文档和评估,影响我们长期平台方向和供应商选择。 您需要的技能: - 经验:5 年以上构建和运营数据平台或大规模数据基础设施的经验,适用于 SaaS 或类似环境。 - 编程:至少精通 Python、Java 或 Scala 之一;熟悉使用 SQL 进行分析和数据建模。 - 分布式数据系统:具有 Spark 或类似分布式处理系统的实践经验,包括调试和性能调优。 - 流式传输和摄取:具有 Kafka 或同等流式系统的经验;熟悉 CDC/摄取模式(例如 Debezium、Fivetran、自定义连接器)。 - 湖仓/存储:具有数据湖和表格式(Iceberg、Hudi 或 Delta)和/或数据目录和模式演变的经验。 - 安全和治理:对适用于数据平台的访问控制、静态/传输加密和审计的实际理解。 - 云基础设施:至少具有一个主要云提供商(AWS、GCP 或 Azure)和托管数据/计算服务(例如 EMR、Dataproc、基于 Kubernetes 的计算)的经验。 - 运营:在生产中舒适地拥有服务和管道,包括值班、事件响应和可靠性改进。 加分项: - 直接与企业客户合作或处理数据驻留、EKM 或合规驱动审计等功能的经验。 - 以前在 Databricks、Unity Catalog、Lake Formation 或类似目录/治理系统上的工作。 - 实施多区域/多单元数据架构的背景。 - 在共享数据平台上构建 ML 训练/评估工作流或模型/特征存储的经验。 - 熟悉向量数据库或搜索基础设施,以及它们如何与上游数据系统集成。 - 设计或改进数据平台可观察性的经验(例如 Honeycomb、OpenTelemetry、以指标/跟踪为重的调试)。 我们的客户来自各行各业,我们也是。我们从各种背景中招聘优秀人才,不仅因为这是正确的事情,而且因为这使我们的公司更强大。如果您与我们的价值观和对小企业的热情一致,您将在 Notion 找到一个家。 Notion 自豪地成为一个平等机会雇主。我们在招聘或任何就业决定中不基于种族、肤色、宗教、国籍、年龄、性别(包括怀孕、分娩或相关医疗状况)、婚姻状况、祖先、身体或精神残疾、遗传信息、退伍军人身份、性别认同或表达、性取向或其他适用的法律保护特征进行歧视。Notion 根据适用的联邦、州和地方法律考虑具有犯罪历史的合格申请人。Notion 还致力于在我们的工作申请程序中为合格的残疾人和残疾退伍军人提供合理的便利。如果您因残疾需要帮助或便利,请告知您的招聘人员。 Notion 致力于提供极具竞争力的现金补偿、股权和福利。此职位提供的补偿将基于多个因素,例如地点、职位的范围和复杂性,以及候选人的经验和专业知识,并可能与下面提供的范围有所不同。对于位于旧金山的职位,此职位的估计基本工资范围为每年 230,000 美元至 300,000 美元。 点击“提交申请”即表示我理解并同意 Notion 及其附属公司和子公司将根据 Notion 的全球招聘隐私政策收集和处理我的信息。 #LI-Onsite