高级数据工程师

无个税23天前全职
23.7万 - 31.6万 / 年 Id8media

Id8media

location 多哈
unsaved
高级数据工程师 在支持 数据管道、ETL 过程 和 数据库系统 的设计、开发 和 维护方面发挥着关键作用,以推动 AI 和 数据科学 的倡议。该职位涉及确保所有数据工程活动中数据的高质量、可扩展性 和 性能。 主要职责 • 设计、开发 和 维护 数据管道、ETL 过程 和 数据库系统,以支持 AI 和 数据科学 的倡议。 • 与 数据科学家、AI/ML 工程师 和 其他利益相关者 协作,以了解数据需求并确保数据的可用性 和 质量。 • 在所有数据工程活动中实施 数据治理、安全性 和 监管标准。 • 优化 数据管道 和 过程,以实现可扩展性、性能 和 成本效率。 • 监控 和 确保 数据系统 的性能 和 可靠性,必要时识别 和 解决问题。 • 跟踪 数据工程 技术 和 最佳实践 的最新进展。 • 指导 和 为初级数据工程师 和 其他团队成员提供建议。 • 准备 和 向高级管理层 和 利益相关者展示 数据工程 报告 和 文档。 • 参与项目规划,并为项目时间表 和 可交付成果 的开发做出贡献。 要求 • 计算机科学、数据工程 或相关领域的本科学位。 • 相关认证(例如:Google Cloud 专业数据工程师、AWS 认证大数据 - 专业)优先考虑。 • 至少 5 年 数据工程 或相关领域的工作经验。 • 具备为 AI 或技术驱动产品设计 和 实施 数据管道、ETL 过程 和 数据库系统 的经验。 • 精通 Python、SQL 等编程语言。 • 熟练掌握数据工程工具 和 框架(例如:Apache Spark、Kafka)。 • 出色的问题解决 和 分析能力。 • 强大的沟通 和 人际交往能力。 • 注重细节 和 对质量的承诺。 • 深入理解 数据工程 原则、ETL 过程 和 数据库管理。 • 熟悉云平台(例如:AWS、Azure、Google Cloud)及其数据服务。 • 了解 数据治理、安全性 和 监管标准。 • 能够有效管理多个任务并优先排序。 • 能够独立工作并作为团队的一部分。