设计和实施大规模数据处理系统及管道。
- 使用 Hadoop、Spark 和 Kafka 等技术开发、测试和部署稳健的大数据解决方案。
- 优化数据存储和检索策略以提高性能和效率。
- 与数据科学家、分析师和相关方合作,了解数据需求。
- 确保大数据平台的数据质量、完整性和安全性。
- 主导数据建模、模式设计和数据仓库的工作。
- 从各种数据源执行数据提取、转换和加载(ETL)。
- 监控和排查数据处理作业,以确保可靠性和性能。
- 指导初级工程师并为团队提供技术指导。
- 关注新兴的大数据技术和最佳实践,以推动持续改进。
• *个人技能**:
- 强大的沟通、人际交往和演示能力。
- 能够在压力下多任务处理。
- 出色的英语能力。
- 优秀的口头和书面沟通技巧;影响力和在地理分散团队中有效工作的能力。
• *技术技能**:
- 大数据技术:精通 Hadoop、Spark、Kafka 及相关生态系统。
- 编程:熟练使用 Java、Scala 和 Python 进行数据处理和管道开发。
- ETL 过程:具备高级 ETL(提取、转换、加载)技术和工具的知识。
- 数据库管理:有使用 NoSQL 数据库(如 Cassandra、MongoDB 和 HBase)的经验。
- 云平台:熟练使用 AWS、Azure 或 Google Cloud 进行大数据解决方案。
- 性能调优:能够优化数据处理系统以提高性能和可扩展性。
- 数据安全:了解数据安全原则和最佳实践。
- 协作:具备强大的团队合作和沟通能力,以进行跨职能协作。
- 解决问题:具备出色的分析和解决问题的能力,以应对复杂的数据挑战。
• *教育背景**:
计算机科学、软件工程或相关领域的学士学位。
• *职位详情**:
工作地点
沙特阿拉伯利雅得
公司行业
IT 服务
公司类型
雇主(私营部门)
职位角色
工程
雇佣类型
员工
职位部门
首席技术官
职业级别
中级职业
工作经验
最少:4年 最高:7年
学位
学士学位