首席数据工程师(规划与预测 | Kafka | Snowflake | AWS | GitLab CI/CD)
地点:温哥华,不列颠哥伦比亚省(混合办公)
类型:全职 / 直接聘用
薪资:面议
工作授权:必须有在加拿大工作的授权,无需赞助
不可协商技术:Airflow
关于该职位
我们正在寻找一位首席数据工程师,设计和构建可扩展的数据平台和服务,以支持规划、预测和情景建模的项目。此职位将与产品、用户体验和规划团队紧密合作,提供高影响力的工具,使规划者和业务利益相关者能够与预测互动、调整计划并模拟业务结果。
您将是一位动手的技术领导者,推动架构、性能、CI/CD 和可观测性方面的工程卓越,同时指导和引导其他工程师。
主要职责
- 设计、构建和维护可扩展的数据架构和内部系统之间的集成,以支持规划、预测和情景建模
- 使用 Kafka 和相关事件流模式开发和支持流数据管道
- 使用强大的 ETL/ELT、SQL 和数据建模原则构建可靠且可维护的管道
- 使用云数据平台(如 Snowflake)、编排工具(如 Airflow)和数据库(如 Postgres)
- 使机器学习模型投入运营,用于:
- 需求预测
- 库存优化
- 供应链分析
- 开发直观的数据产品和工具,使规划者/业务用户能够:
- 查看预测和洞察
- 调整假设和计划
- 运行情景模拟并比较结果
- 建立和维护 GitLab CI/CD 管道,用于自动化测试、部署、监控和发布管理
- 确保系统具备生产就绪性,具有强大的日志记录、监控、警报和性能优化
- 推动跨职能团队(产品、用户体验、规划、工程)进行敏捷交付
- 指导工程师并在架构、测试和 DevOps 中推广最佳实践
我们重视的工程实践
- 测试驱动开发(TDD)和自动化优先的思维方式
- 强大的代码审查文化和协作工程(必要时进行结对编程)
- 具有模块化和可重用设计模式的可扩展架构
- 以可观测性为先的系统(日志记录、监控、仪表板、性能调优)
必备资格
- 12年以上软件工程经验,包括2年以上技术领导角色经验
- 作为数据工程师/数据平台工程师的丰富实践经验
- 具有使用 Kafka 等流框架的经验
- 在 SQL、ETL/ELT、数据仓库和数据建模方面的强大技能
- 具有以下一个或多个工具的实践经验:
- Snowflake
- Airflow
- Postgres
- (或类似的云原生数据工具)
- 具有实施和管理 CI/CD 管道和自动化测试框架的丰富经验(首选 GitLab)
- 对云基础设施(AWS、GCP 或 Azure)的深入理解
- 出色的沟通能力,能够跨团队和利益相关者有效合作
加分项
- Anaplan 模型构建/模型开发经验
- 在规划、预测、供应链或零售/消费品领域构建数据解决方案的经验
- 接触过 MLOps 工具或生产 ML 部署实践
- 具有协调离岸/在岸团队的经验
教育背景
计算机科学、信息技术或相关领域的学士学位(或同等的实际经验)
核心技能/关键词
Kafka | Airflow | Snowflake | SQL | Postgres | ETL/ELT | 数据仓库 | 数据建模 | AWS | GitLab CI/CD | 可观测性 | 预测 | 情景建模 | 供应链分析 | 领导力