作为我们数据平台工程团队的高级软件工程师，您将加入熟练的Scala工程师和核心数据库开发人员，负责开发托管的云分析基础设施（基于Apache Spark），分布式SQL处理框架，专有数据科学平台和核心数据库优化。该团队负责构建自动化、智能化和高性能的查询规划器和执行引擎，数据仓库集群之间的RPC调用，共享的二级冷存储等。这包括构建新的SQL功能和面向客户的功能，为行业领先的性能开发新颖的查询优化技术，以及构建一个高度并行、高效和容错的数据库系统。这是一个对高管领导和高级工程领导层汇报的重要角色。
要求
职责：
• 使用Apache Spark + Apache Arrow等工具编写Scala代码，构建托管的多集群数据仓库，用于Web3
• 开发数据库优化器、查询规划器、查询和数据路由机制、集群之间的通信以及工作负载管理技术
• 从概念验证扩展到“集群规模”（最终每个集群数百个TB），包括基础设施/架构和问题结构
• 将最佳实践编码为可访问、可重用的模式、模板和代码库，以便于元数据捕获和管理
• 管理一个软件工程师团队，编写新代码，构建一个更大、更好、更快、更优化的HTAP数据库（使用Apache Spark、Apache Arrow和其他丰富的开源数据工具）
• 与高管团队和高级工程领导层互动，定义、优先考虑并确保与其他运营组件的平稳部署
• 高度关注数据采集处理、工程和管理角度的分析领域的行业趋势
• 了解Web3 /区块链领域的数据和分析用例
技能与资格
• 计算机科学或相关技术领域的学士学位，硕士或博士学位优先考虑
• 6年以上的软件工程和数据平台/企业级数据仓库工作经验，最好具备开源Apache堆栈的知识（尤其是Apache Spark、Apache Arrow等）
• 3年以上的Scala和Apache Spark经验
• 扎实的工程基础知识；查询规划、优化和分布式数据仓库系统经验者优先考虑，但不是必需的
• 有优势的：了解区块链索引、web3计算范式、证明和共识机制等知识，但不是必需的
• 在基于Web的环境中具有快速开发周期的经验
• 熟练掌握脚本编写和测试自动化知识
• 有优势的：对Web3、区块链、去中心化充满热情，并对数据/分析在其中的作用有基本了解。
最后更新日期：2024年1月29日 
旧金山