首席数据工程师
Worth AI是一家计算机软件行业的领导者，正在寻找一位才华横溢且经验丰富的首席数据工程师加入他们的创新团队。在Worth AI，我们的使命是利用人工智能的力量革新决策过程，同时营造一个协作和适应的环境，旨在对科技领域产生有意义的影响。我们的团队价值观包括极端责任感、一个团队，以及为我们的员工和客户创造狂热的粉丝。
Worth正在寻找一位首席数据工程师来负责公司范围内的数据架构和平台。设计和扩展可靠的批处理/流处理管道，建立数据质量和治理，并通过安全、成本高效的系统实现分析/机器学习。与工程、产品、分析和安全团队合作，将业务需求转化为持久的数据产品。
职责
您将负责的工作：
- 架构与战略
- 定义端到端的数据架构（湖/湖仓/仓库，批处理/流处理，CDC，元数据）。
- 为模式、合同、编排、存储层和语义/指标模型设定标准。
- 发布路线图、ADRs/RFCs和“北极星”目标状态；指导构建与购买决策。
- 平台与管道
- 设计和构建可扩展、可观察的ELT/ETL和事件管道。
- 建立摄取模式（CDC、文件、API、消息总线）和模式演化策略。
- 为分析师/科学家提供自助工具（dbt、笔记本、目录、特征存储）。
- 确保工作流的可靠性（幂等性、重试、回填、SLA）。
- 数据质量与治理
- 定义数据集SLA/SLO、新鲜度、血缘和数据认证层级。
- 强制执行合同和验证测试；部署异常检测和事件运行手册。
- 与治理合作进行目录编制、PII处理、保留和访问策略。
- 可靠性、性能与成本
- 领导容量规划、分区/集群和查询优化。
- 为数据引入SRE风格的实践（错误预算、事后分析）。
- 推动存储/计算的FinOps；监控并降低每TB/查询/作业的成本。
- 安全与合规
- 实施加密、标记化和行/列级安全性；管理秘密和审计。
- 与SOC 2和隐私法规（如GDPR/CCPA；如适用，HIPAA）保持一致。
- 机器学习与分析支持
- 提供版本化、文档化的数据集/特征用于BI和ML。
- 使训练/服务数据流、漂移信号和特征存储治理实现运营化。
- 构建和维护语义层和指标一致性以支持实验/BI。
- 领导与协作
- 在小组中提供技术领导；指导高级/资深工程师。
- 进行设计评审并在复杂权衡上达成共识。
- 与产品/分析领导者将业务目标转化为数据产品。
