数据工程师 – 物联网与车辆远程信息处理负责设计、构建和运营可扩展的数据管道和流基础设施，以摄取、处理和存储来自车辆的实时和近实时物联网数据，包括GPS、远程信息处理、传感器和车载系统。
该角色专注于实现可靠的物联网数据流，与企业数据平台的集成，并支持跨运输、车队管理、租赁和维护操作的分析、监控和高级用例。
理想的候选人应具备物联网数据摄取、流架构、云原生数据平台以及处理高容量、时间序列数据的丰富实践经验。
主要职责
物联网数据摄取与流处理
- 设计和实施车辆GPS、远程信息处理和传感器数据的实时和近实时物联网数据摄取管道。
- 构建和管理流数据架构，以可靠且大规模地摄取高速物联网数据。
- 将来自车辆设备、网关和第三方物联网平台的数据集成到企业数据平台中。
- 确保原始物联网数据以完整的保真度被捕获并存储在数据湖中以供下游处理。
物联网平台与基础设施设置
- 设置和管理基于云的物联网和流基础设施，以支持数据摄取、缓冲、处理和存储。
- 配置消息代理、事件流和数据处理器，以处理大规模车辆数据流。
- 确保关键任务物联网用例的可扩展性、容错性和低延迟处理。
- 实施物联网数据管道和流服务的监控、日志记录和警报。
数据处理与集成
- 处理、丰富和标准化物联网数据以用于分析、报告和运营监控。
- 将物联网数据与企业系统（如车队管理、维护、ERP和分析平台）集成。
- 根据业务用例的需要支持批处理和流数据处理模式。
- 与分析和数据科学团队合作，实现路线优化、驾驶员行为分析、预测性维护和燃料优化等用例。
数据质量、设备健康与监控
- 实施物联网数据质量检查，以验证流车辆数据（如GPS、远程信息处理、传感器信号）的完整性、准确性、及时性和一致性。
- 设计和维护设备健康监控，以跟踪连接状态、心跳信号、数据延迟和来自车辆和物联网设备的数据丢失。
- 检测并警报设备断开连接、不活跃设备、异常数据模式以及延迟或丢失的数据流。
- 监控摄取管道和流服务，以确保从设备到平台的可靠端到端数据流。
- 与运营和物联网供应商合作，调查和解决设备、连接或数据传输问题。
- 维护仪表板、日志和警报，以提供对车队范围内物联网数据健康和可用性的可见性。
资格要求
- 计算机科学、数据工程、电子工程或相关技术领域的学士学位。
- 相关领域的硕士学位是一个加分项。
- 至少6-8年数据工程经验，重点关注物联网和流数据平台。
- 具有摄取和处理车辆物联网数据（如GPS、远程信息处理、CAN总线、传感器或视频元数据）的实践经验。
- 具有流和事件驱动技术的丰富经验，例如：
- Kafka或同等流平台
- 具有基于云的数据平台和数据湖（最好是Microsoft Azure）的经验。
- 熟练使用Python和SQL进行数据处理和转换。
- 具有处理时间序列数据、高容量数据流和实时分析的经验。
- 理解物联网架构、边缘到云的数据流和设备到平台的集成。
- 熟悉流系统的数据质量、监控和操作可靠性。
- 具备较强的问题解决能力和与跨职能团队合作的能力。
- 在交通、车队管理、租赁或车辆维护领域的经验是一个强有力的资产。
