数据工程师负责设计、构建和维护可扩展、可靠和高质量的数据管道和平台，以支持分析、报告和数据驱动的决策。该角色专注于将原始数据转化为可信、可访问的数据集，同时确保数据生态系统的性能、安全性和卓越的运营。
主要角色与职责：
- 设计、开发和维护用于批处理和实时处理的可扩展、可靠的数据管道
- 从多个内部和外部来源获取、转换和整理数据
- 构建和优化用于分析、报告和下游消费的数据模型和数据集
- 通过验证、监控和对账检查确保数据质量、完整性和准确性
- 实施和维护数据编排、调度和自动化工作流程
- 优化数据处理性能和云资源利用率
- 与数据架构师合作，以确保实现符合企业数据架构标准
- 与分析师、数据科学家和业务团队密切合作，了解数据需求
- 通过提供文档齐全且可信的数据集支持BI、分析和AI/ML用例
- 在数据管道中实施数据安全、访问控制和隐私要求
- 排除和解决数据管道故障和性能问题
- 为数据解决方案贡献DevOps和CI/CD实践
- 记录数据管道、转换和操作程序
- 参与代码审查并推广数据工程最佳实践
资格与经验：
- 计算机科学、工程、信息系统、数据科学或相关领域的学士学位
- 硕士学位是优势但不是必须的
- 8年以上数据工程、分析工程或后端工程角色的经验
- 在构建和维护ETL/ELT管道方面有丰富的实践经验
- 具有关系型和NoSQL数据库、数据仓库和数据湖、结构化、半结构化和非结构化数据的工作经验，具有云数据平台（如Azure、AWS、GCP）的经验
