职位描述
我们正在寻找一位经验丰富的大数据工程师,具备在电信领域使用 Cloudera 生态系统设计和实施大规模数据湖的丰富经验。
理想的候选人将具备开发批处理和实时管道的专业知识,优化分布式数据系统,并确保安全、高性能的数据基础设施。
• 在 Cloudera 上使用 Spark、Hive 和 Python 设计和维护管道。
• 使用 Kafka 开发实时数据摄取工作流(例如,CDR、使用日志)。
• 管理 Oozie 的编排,使用 Ranger 进行访问控制,以及用于下游集成的 API。
• 确保安全合规(Kerberos、Ranger)、性能调优和资源优化。
• 与跨职能团队合作,交付以电信为中心的数据解决方案。
• 具备云迁移/集成经验者优先。
要求:
• 12–15 年大数据工程经验,具备扎实的 Cloudera 专业知识。
• 深入了解电信领域,包括 CDR、OSS/BSS 和网络数据。
• 具备 Kafka、Python、Hive、HDFS、HBase、Oozie、Impala 的实际操作经验。
• 在数据安全、编排和性能优化方面具备强大技能。
• 具备云经验者优先。