高级数据工程师 在支持 数据管道、ETL 过程 和 数据库系统 的设计、开发 和 维护方面发挥着关键作用,以推动 AI 和 数据科学 的倡议。该职位涉及确保所有数据工程活动中数据的高质量、可扩展性 和 性能。
主要职责
• 设计、开发 和 维护 数据管道、ETL 过程 和 数据库系统,以支持 AI 和 数据科学 的倡议。
• 与 数据科学家、AI/ML 工程师 和 其他利益相关者 协作,以了解数据需求并确保数据的可用性 和 质量。
• 在所有数据工程活动中实施 数据治理、安全性 和 监管标准。
• 优化 数据管道 和 过程,以实现可扩展性、性能 和 成本效率。
• 监控 和 确保 数据系统 的性能 和 可靠性,必要时识别 和 解决问题。
• 跟踪 数据工程 技术 和 最佳实践 的最新进展。
• 指导 和 为初级数据工程师 和 其他团队成员提供建议。
• 准备 和 向高级管理层 和 利益相关者展示 数据工程 报告 和 文档。
• 参与项目规划,并为项目时间表 和 可交付成果 的开发做出贡献。
要求
• 计算机科学、数据工程 或相关领域的本科学位。
• 相关认证(例如:Google Cloud 专业数据工程师、AWS 认证大数据 - 专业)优先考虑。
• 至少 5 年 数据工程 或相关领域的工作经验。
• 具备为 AI 或技术驱动产品设计 和 实施 数据管道、ETL 过程 和 数据库系统 的经验。
• 精通 Python、SQL 等编程语言。
• 熟练掌握数据工程工具 和 框架(例如:Apache Spark、Kafka)。
• 出色的问题解决 和 分析能力。
• 强大的沟通 和 人际交往能力。
• 注重细节 和 对质量的承诺。
• 深入理解 数据工程 原则、ETL 过程 和 数据库管理。
• 熟悉云平台(例如:AWS、Azure、Google Cloud)及其数据服务。
• 了解 数据治理、安全性 和 监管标准。
• 能够有效管理多个任务并优先排序。
• 能够独立工作并作为团队的一部分。