职位名称： 大数据专家
我们正在寻找一位熟练的大数据工程师，以支持我们在阿曼马斯喀特的团队。这个角色提供了在有意义的项目上工作的机会，与才华横溢的同事合作，并为一家不断发展的公司的成功做出贡献。
主要职责：
• 使用 Apache Spark、Hive 和 Python 在 Cloudera 上设计、构建和维护本地数据管道。
• 使用 Kafka 开发实时数据摄取工作流，针对电信数据集（例如，使用日志、CDR）。
• 使用 Oozie 管理作业编排和调度，通过 Hue 启用数据访问，并通过 Ranger 确保安全。
• 实施和管理数据安全策略（Kerberos、Ranger），确保合规性和受控访问。
• 开发和公开 REST API 以便于下游集成和数据访问。
• 确保 Cloudera 平台的性能调优、资源优化和高可用性。
• 与数据架构师、工程师和业务利益相关者合作，在电信环境中提供端到端解决方案。
任职要求：
• 12-15 年大数据工程经验，专注于本地数据湖环境的实践。
• 深厚的电信领域知识，包括与 CDR、BSS/OSS、客户和网络数据相关的数据模型和管道。
• 强大的实践经验：
• Cloudera (CDH/CDP) 组件：Spark、Hive、HDFS、HBase、Impala
• Kafka：配置、主题管理、生产者/消费者设置
• 用于数据转换和自动化的 Python
• 通过 Oozie 进行作业编排
• 使用 Ranger 进行访问控制和元数据管理
关于我们：
RiDiK 是一家全球技术解决方案提供商，隶属于 CLPS Incorporation (NASDAQ: CLPS)，提供跨银行、财富管理和电子商务的尖端端到端服务。 
