Azure平台工程师

San Francisco 11 days agoFull-time External
Negotiable
关于Perplexity Perplexity是一个由AI驱动的答案引擎,于2022年12月成立,并迅速成长为全球领先的AI平台之一。Perplexity已从全球一些最具远见和成功的领导者那里筹集了超过10亿美元的风险投资,包括Elad Gil、Daniel Gross、Jeff Bezos、Accel、IVP、NEA、NVIDIA、三星等。我们的目标是构建准确、可信的AI,为人们的决策提供支持,并在任何需要做出决策的地方提供辅助AI。纵观人类历史,变革和创新总是由好奇的人推动的。如今,好奇的人们每月使用Perplexity回答超过7.8亿个查询,这个数字正在迅速增长,原因很简单:每个人都可以好奇。 关于职位 我们正在寻找一位数据平台工程师,负责领导将我们核心数据工作负载战略性迁移到Azure Cosmos DB。您将是主要的架构师,负责将高容量、关键任务的数据从我们现有的传统基础设施迁移到全球分布的Cosmos DB环境。这不仅仅是数据迁移;而是重新设计我们的数据层,以支持我们AI平台的下一个100倍增长。您将负责迁移生命周期——从模式重新设计和切换策略到大规模性能调优。 这是一个高影响力的高级/员工级角色,您将在其中塑造架构、设定标准,并推动Perplexity数据生态系统的长期技术方向。 您的职责 领导Cosmos DB迁移 - 迁移策略:设计和执行从传统数据库(PostgreSQL、MongoDB或其他)到Cosmos DB的零停机迁移路径。 - 架构重设计:领导“迁移与重构”决策过程。您将重新设计关系或传统NoSQL模式为优化的、分区的Cosmos DB模型。 - 工具与自动化:构建或实施数据迁移管道(使用Azure Data Factory、变更数据捕获或自定义Spark作业)以确保迁移期间的数据完整性和一致性。 - 验证与切换:建立严格的测试框架,以验证数据一致性、延迟基准和故障转移可靠性,然后再进行最终切换。 Cosmos DB操作与扩展 - RU优化:迁移后,您将负责调整请求单位(RUs)和索引策略,以确保新系统比旧系统更具成本效益和性能。 - 分区掌握:实施复杂的分区策略(包括分层分区)以消除我们最繁忙集合中的热点。 - 全球分布:配置多区域写入能力,以确保Perplexity用户无论身处何地都能享受低于10毫秒的延迟。 我们在寻找什么 最低资格 - 8年以上软件工程经验,具有领导大规模数据库迁移的成功记录。 - Cosmos DB专家:具有大规模操作Cosmos DB的经验。 - 迁移经验:您曾在之前的高增长公司成功地以零或接近零停机时间迁移生产工作负载。 - 系统专家:对分布式系统、CAP定理有深入理解,并了解如何在迁移边界内管理数据一致性(例如,双写入、影子读取)。 - 后端熟练:精通Python、Go或TypeScript的编码技能,能够构建自定义迁移脚本和服务级抽象。