首席数据工程师（Azure/Databricks）
地点：谢菲尔德（每周2天）/ 混合办公
汇报对象：工程副总裁
团队组成：2名数据科学家，1名数据工程师
机会
我们是一家专注于工业物联网数据的智能资产管理公司。我们接收高频工厂和传感器数据，应用机器学习技术，并向分析师和客户提供高价值的可操作见解。
我们正在构建一个与UNS对齐的尖端工业物联网数据平台，具有高度可扩展的架构，以应对我们下一阶段的增长。我们需要一位实干的技术领导者来掌控数据工程领域，帮助从头开始重新架构和构建我们的管道，并指导一个小而有才华的团队。
使命
您将不会维护遗留系统，而是将架构新的系统。您将负责平台内的数据流，设计一个支持实时操作视图和深度历史分析的稳健架构。
技术栈
- 核心：Azure, MQTT, Databricks, Python, SQL, dbt
- 存储与服务：Delta Lake, Postgres, TimescaleDB
- 建模：MLflow
- 可视化：Grafana
主要目标（前6-12个月）
- 平台重建：负责在Databricks中重新设计和重建数据转换层（事件总线后）。从临时脚本转向软件工程标准（CI/CD，测试，模块化代码）
- 建模实施：支持在整个数据资产中实施“统一命名空间”（UNS），包括模式和路径标准化；机器层次结构和语义关系；以及针对合同的数据验证和处理方法。
- 赋能：建立一个稳定的数据服务层，用于Grafana和分析（通过Databricks/MLflow），为数据科学团队排除障碍。
